llama.cpp sada pokreće ternarni model Bonsai 2 bez posebne verzije kompanije PrismML
Izdanje b11556 dodaje rotaciju težina koja je modelu Bonsai 2 nedostajala u zvaničnom llama.cpp-u. Datoteka Q2_0 od 7,63 GB tamo sada daje ispravan izlaz, a manja pakovanja PQ2_0 i PTQ1_0 i dalje traže verziju same kompanije.
Zvanični llama.cpp sada može da pokrene Bonsai 2, model kompanije PrismML od 27 milijardi parametara čije težine imaju samo tri vrijednosti: −1, 0 i +1. Takav model se naziva ternarnim. Izdanje b11556 objavljeno je 11. oktobra 2026. i dodaje korak pri izvršavanju od kojeg te težine zavise. Do tada je za model bila potrebna PrismML-ova izdvojena verzija llama.cpp-a (fork), a standardna verzija je datoteku učitavala bez upozorenja i davala besmislen tekst.
Šta se promijenilo u llama.cpp-u
PrismML težine modela Bonsai 2 čuva u zarotiranom obliku. Prije nego što se svedu na tri vrijednosti, svaka matrica prolazi kroz Hadamardovu rotaciju, stalno matematičko preraspoređivanje vrijednosti koje olakšava sažimanje. Rotacija je ugrađena u same sačuvane težine. Zato izvršno okruženje istu transformaciju mora da primijeni i na aktivacije, međuvrijednosti koje model računa dok radi. Bez tog koraka težine i aktivacije se više ne poklapaju, pa je rezultat besmislen.
Izmjena čita opis rotacije iz metapodataka GGUF datoteke modela i primjenjuje transformaciju pri izvršavanju. Skripta za konverziju te metapodatke upisuje kad uz model postoji PrismML-ov opis rotacije. Arhitekture kod kojih izvršno okruženje ne bi primijenilo transformaciju skripta odbija, pa se datoteka ili konvertuje i radi ispravno, ili se ne konvertuje uopšte.
Autor zahtjeva za spajanje izmjena (pull request) navodi da je na istoj datoteci, u poređenju s PrismML-ovom verzijom, izmjerio odnos perpleksnosti od 1,0001 na Appleovom Metalu i 0,9995 na CUDA-i. Perpleksnost mjeri koliko dobro model predviđa probni tekst, pa odnos blizu 1 znači da se dva izvršna okruženja ponašaju gotovo isto. Bez izmjene je isti test dao perpleksnost veću od 1,2 miliona.
Koja datoteka radi, a koja još ne
Izmjena pokriva pakovanje Q2_0, datoteku od 7,63 GB koju PrismML objavljuje u zasebnom probnom repozitorijumu na Hugging Faceu. U imenu datoteke i dalje piše da je potrebna PrismML-ova verzija, jer je objavljena prije nego što je podrška ušla u glavni projekat.
U glavnom repozitorijumu PrismML nudi dva manja pakovanja: PQ2_0 od 7,21 GB i PTQ1_0 od 5,95 GB. Ona koriste tipove kvantizacije koje glavni llama.cpp ne poznaje, a ova izmjena ih ne dodaje, pa za njih i dalje treba PrismML-ova verzija. Poređenja radi, isti model u 16-bitnoj preciznosti (FP16) zauzima oko 54 GB.
Bonsai 2 rotira težine u blokovima od 1.024 vrijednosti. CUDA kerneli, rutine koje se izvršavaju na grafičkom procesoru, za blokove šire od 512 vrijednosti spojeni su u llama.cpp 7. oktobra 2026. Odgovarajući kerneli za Vulkan još su na pregledu.
Kakav je model Bonsai 2
Bonsai 2 je izveden iz modela Qwen3.8-27B i ima 27,36 milijardi parametara. Svaka težina ima vrijednost −1, 0 ili +1, a svaka grupa od 128 težina dijeli jedan faktor skaliranja. PrismML za cijeli model navodi 1,72 bita po težini. Težine su objavljene pod licencom Apache 2.0.
Kompanija navodi da model zadržava 98,2 odsto rezultata modela pune preciznosti na 14 mjerila pokrenutih u režimu razmišljanja. To je mjerenje samog proizvođača i nije nezavisno potvrđeno.
Izvori
Povezano
Google je objavio ML Drift kao otvoreni kod, a TFLite GPU delegat više neće dobijati nove mogućnosti
Googleov tim AI Edge objavio je 8. oktobra 2026. pokretač ML Drift pod licencom Apache 2.0. To je dio LiteRT-a koji izvodi modele na grafičkom procesoru samog uređaja, a može se koristiti i kao zasebna biblioteka. Stariji TFLite GPU delegat od sada ne dobija nove mogućnosti, pa aplikacije koje ga koriste čeka prelazak.
Google Developers Blogprovjereno
llama.cpp 0.6.0 podržava GLM-5.3-Flash, a server dobija API za modele za odlučivanje
Projekat llama.cpp objavio je 5. oktobra 2026. verziju 0.6.0. Izdanje dodaje podršku za GLM-5.3-Flash, model za tekst i sliku sa 320 milijardi parametara, i novu krajnju tačku servera za modele za odlučivanje (decision models). Dvije izmjene u spekulativnom dekodiranju objavljene su uz mjerenja autora, jedno na računaru DGX Spark kompanije Nvidia i jedno na Appleovim grafičkim procesorima. Izmijenjeni su i C API i verzija formata sačuvanih sesija, pa programe koji koriste biblioteku treba provjeriti prije nadogradnje.
llama.cppprovjereno
llama.cpp 0.5.0 podržava arhitekturu HRM-Text, a njegov server može da prima veze na više adresa
Projekat llama.cpp je 23. septembra 2026. objavio verziju 0.5.0. Izdanje dodaje podršku za HRM-Text, arhitekturu na kojoj je građen DFM Mimir, model od milijardu parametara, i konverziju modela MiMo-V2.6. Server sada može istovremeno da prima veze na više adresa, a u režimu rutera više ne prosljeđuje datoteku s API ključevima procesima koje pokreće.
llama.cppprovjereno