IBM je izdao model za rasuđivanje u tri veličine, a najmanji staje na laptop

IBM je 25. avgusta objavio Granite 4.2, svoju prvu porodicu gustih modela za rasuđivanje. Tri veličine — tri, osam i trideset milijardi parametara — svaka obučavana od nule na otprilike petnaest biliona tokena, u pet faza koje kontekst šire na 512 hiljada tokena, a zatim dorađivana kroz višestepeni postupak učenja potkrepljivanjem. Sve pod licencom Apache 2.0.

Šta ovi modeli rade drugačije

Svaki model u porodici ima način rada s razmišljanjem i bez njega, i uz to način s malim ulaganjem, koji na lako pitanje potroši kratak budžet za razmišljanje umjesto cijelog lanca. Pozivanje alata je ugrađeno, a ne nakalemljeno kroz upute, a kod modela od osam i trideset milijardi faza potkrepljivanja obuhvata i učenje u radu: model uči da djeluje alatima u ograđenim okruženjima, a ne samo da odgovara.

IBM navodi i kroz koje se okvire očekuje da se modeli vode — OpenCode, Pi i OpenHands — a to o namjeri govori jasnije od bilo kog mjesta na tabli poretka. Ova porodica je namijenjena agentima koji rade tamo gdje ti odlučuješ.

Formati su vijest

Uz težine u punoj preciznosti, IBM je objavio i pretvorbe u FP8, NVFP4 i MXFP4 napravljene alatom LLM Compressor, kao i GGUF napravljen samim llama.cpp-om. GGUF izdanja idu od Q8_0 do Q2_K, što znači da je model spreman za pokretače koje ljudi zaista koriste — llama.cpp i sve što na njemu stoji — bez čekanja da ga zajednica kvantizuje.

To znači više nego što zvuči. Otvoren model koji stigne kao gole težine je projekat; otvoren model koji stigne s dopuštajućom licencom i već isječenim formatima je nešto što tim iste sedmice može staviti iza proizvoda.

• Veličine: 3B, 8B i 30B — gusti modeli za rasuđivanje.
• Kontekst: 512 hiljada tokena, dosegnut u pet faza obuke.
• Licenca: Apache 2.0, na svakoj veličini.
• Kvantizovana izdanja odmah: FP8, NVFP4, MXFP4 i GGUF od Q8_0 do Q2_K.

Šta u objavi ne stoji

Tekst je tehnički prikaz toga kako je porodica napravljena, sve do hardvera za obuku: grozd NVIDIA GB200 NVL72 kod CoreWeavea, sa sedamdeset dvije grafičke jedinice u jednom NVLink domenu i vezom od 400 Gb/s između ormara. Ono što nije jeste nezavisna ocjena. Svaki rezultat u njemu je IBM koji mjeri sopstveni model.

Zato korisno pitanje za onoga ko ove sedmice bira model nije gdje Granite stoji na tabeli, nego radi li model od trideset milijardi pod Apache 2.0, s gotovim izdanjima na četiri bita, baš onaj posao koji ti treba, po cijeni koju možeš da predvidiš. To je proba koju radiš sam — i jeftina je upravo zato što licenca i formati ne stoje na putu.