IBM je izdao model za rasuđivanje u tri veličine, a najmanji staje na laptop

IBM je 25. avgusta objavio Granite 4.2, svoju prvu porodicu gustih modela za rasuđivanje. Tri veličine su tri, osam i trideset milijardi parametara. Svaka je obučavana od nule na otprilike petnaest biliona tokena, u pet faza koje kontekst šire na 512 hiljada tokena, a zatim dorađivana kroz višestepeni postupak učenja potkrepljivanjem. Sve pod licencom Apache 2.0.

Šta ovi modeli rade drugačije

Svaki model u porodici ima način rada s razmišljanjem i bez njega, i uz to način s malim ulaganjem, koji na lako pitanje potroši kratak budžet za razmišljanje umjesto cijelog lanca. Pozivanje alata je ugrađeno, a ne nakalemljeno kroz uputstva. Kod modela od osam i trideset milijardi faza potkrepljivanja obuhvata i učenje u radu: model uči da djeluje alatima u ograđenim okruženjima, a ne samo da odgovara.

IBM navodi i kroz koje se okvire očekuje da se modeli vode — OpenCode, Pi i OpenHands — a to o namjeri govori jasnije od bilo kog mjesta na tabli poretka. Ova porodica je namijenjena agentima koji rade u okruženju koje korisnik sam bira.

Formati su vijest

Uz težine u punoj preciznosti, IBM je objavio i pretvorbe u FP8, NVFP4 i MXFP4 napravljene alatom LLM Compressor, kao i GGUF napravljen samim llama.cpp-om. GGUF izdanja idu od Q8_0 do Q2_K, što znači da je model spreman za pokretače koje ljudi zaista koriste — llama.cpp i sve što je na njemu izgrađeno — bez čekanja da ga zajednica kvantizuje.

Posljedica je konkretna. Otvoren model koji stigne samo kao težine modela je projekat; otvoren model koji stigne s permisivnom licencom i već isječenim formatima je nešto što tim iste sedmice može staviti iza proizvoda.

• Veličine: tri, osam i trideset milijardi parametara — modeli za rasuđivanje u kojima su svi parametri aktivni.
• Kontekst: 512 hiljada tokena, dosegnut u pet faza obuke.
• Licenca: Apache 2.0, na svakoj veličini.
• Kvantizovana izdanja odmah: FP8, NVFP4, MXFP4 i GGUF od Q8_0 do Q2_K.

Šta u objavi ne stoji

Tekst je tehnički prikaz toga kako je porodica napravljena, sve do hardvera za obuku: klaster NVIDIA GB200 NVL72 kod CoreWeavea, sa sedamdeset dvije grafičke jedinice u jednom NVLink domenu i vezom od 400 Gb/s između ormara. Ono što nije jeste nezavisna ocjena. Svaki rezultat u njemu je IBM koji mjeri sopstveni model.

Zato korisno pitanje za onoga ko bira model nije gdje je Granite na tabeli. Pitanje je radi li model od trideset milijardi pod licencom Apache 2.0, s gotovim izdanjima na četiri bita, baš onaj posao koji je potreban, i po cijeni koja se može predvidjeti. To je proba koju radiš sam — i jeftina je upravo zato što licenca i formati ne smetaju.