llama.cpp 0.5.0 podržava arhitekturu HRM-Text, a njegov server može da prima veze na više adresa
Projekat llama.cpp je 23. septembra 2026. objavio verziju 0.5.0. Izdanje dodaje podršku za HRM-Text, arhitekturu na kojoj je građen DFM Mimir, model od milijardu parametara, i konverziju modela MiMo-V2.6. Server sada može istovremeno da prima veze na više adresa, a u režimu rutera više ne prosljeđuje datoteku s API ključevima procesima koje pokreće.
Verzija 0.5.0 projekta llama.cpp izašla je 23. septembra 2026. Bilješke uz izdanje obuhvataju izmjene od verzije 0.4.1. Za postojeće instalacije najvažnije su izmjene u podršci za modele i u programu llama-server: nova arhitektura, nova konverzija, rad na više adresa i ispravka za ruter zaštićen API ključevima.
Arhitektura koja ponavlja iste blokove, uz objavljenu cijenu
Verzija 0.5.0 učitava modele arhitekture HRM-Text, među njima i DFM Mimir. HRM-Text naizmjenično koristi dva niza transformerskih blokova nad istim tokenima, pa jedan prolaz kroz model više puta izvršava iste blokove. Izdanje dodaje i konverziju za MiMo-V2.6 i spekulativno dekodiranje DFlash za model HunyuanOCR.
Autor podrške opisuje je kao eksperimentalnu i u zahtjevu za spajanje izmjena (pull request) navodi koliko košta. Prema autoru, KV keš za Mimir sadrži 128 slojeva, četiri puta više od modela iste širine s 32 sloja. To je oko 3072 MiB pri kontekstu od 4096 tokena u formatu F16. Autor je izmjerio dekodiranje od 2,65 tokena u sekundi u formatu BF16, na procesoru stonog računara s 8 niti. To je oko četiri puta sporije od običnog modela iste širine, koji svaki blok izvršava jednom. Podržana je samo kauzalna pažnja, a režim prefix-LM iz izvorne implementacije nije.
Jedan server na više adresa
Program llama-server je do sada primao veze samo na jednoj adresi. Kad se vezao za adresu VPN mreže, više nije bio dostupan preko adrese localhost, pa klijenti koji očekuju localhost nisu mogli da se povežu. Opcija --host sada prima spisak IP adresa i putanja do Unix utičnica, razdvojenih zarezom. Server na svakoj adresi posebno prima veze i na svakoj nudi isti API i isti model, a TCP adrese dijele zadati port. Ako vezivanje za ijednu adresu ne uspije, pokretanje se prekida, a već otvorene veze se zatvaraju.
Ispravka za režim rutera s API ključevima
U režimu rutera jedan proces llama-server pokreće zasebne instance za pojedinačne modele. Kad je ruter pokrenut s opcijom --api-key-file, instance su dobijale istu datoteku i zahtjeve provjeravale samo prema njoj. Klijenti koji su se prijavljivali ključem iz opcije --api-key zato su na zahtjeve za razgovor dobijali grešku 401, a odbijani su i neki unutrašnji pozivi rutera. Verzija 0.5.0 više ne prosljeđuje datoteku s ključevima instancama, pa nijedan API ključ ne završava u njihovoj komandnoj liniji. Srodna izmjena sprečava instance da pišu u datoteku dnevnika rutera.
Ostale izmjene
- Izlaz poziva funkcije koji se šalje serveru sada može da sadrži sliku, kroz polje
input_image. - Podrazumijevane vrijednosti za temperaturu, top-p, min-p i kazne za ponavljanje mogu se zadati promjenljivim okruženja.
- Multimodalni dio koda dobio je dodatne provjere, uključujući ispravku prekoračenja bafera u obradi SigLIP za slike neuobičajene visine ili širine.
- Bilješke navode i optimizacije za CUDA i Metal, ali uz njih ne objavljuju nijedno mjerenje.
„Vezivanje za svaku adresu mora da uspije, inače se pokretanje prekida.“
Izvori
Povezano
llama.cpp sada pokreće ternarni model Bonsai 2 bez posebne verzije kompanije PrismML
Izdanje b11556 dodaje rotaciju težina koja je modelu Bonsai 2 nedostajala u zvaničnom llama.cpp-u. Datoteka Q2_0 od 7,63 GB tamo sada daje ispravan izlaz, a manja pakovanja PQ2_0 i PTQ1_0 i dalje traže verziju same kompanije.
llama.cppprovjereno
Google je objavio ML Drift kao otvoreni kod, a TFLite GPU delegat više neće dobijati nove mogućnosti
Googleov tim AI Edge objavio je 8. oktobra 2026. pokretač ML Drift pod licencom Apache 2.0. To je dio LiteRT-a koji izvodi modele na grafičkom procesoru samog uređaja, a može se koristiti i kao zasebna biblioteka. Stariji TFLite GPU delegat od sada ne dobija nove mogućnosti, pa aplikacije koje ga koriste čeka prelazak.
Google Developers Blogprovjereno
llama.cpp 0.6.0 podržava GLM-5.3-Flash, a server dobija API za modele za odlučivanje
Projekat llama.cpp objavio je 5. oktobra 2026. verziju 0.6.0. Izdanje dodaje podršku za GLM-5.3-Flash, model za tekst i sliku sa 320 milijardi parametara, i novu krajnju tačku servera za modele za odlučivanje (decision models). Dvije izmjene u spekulativnom dekodiranju objavljene su uz mjerenja autora, jedno na računaru DGX Spark kompanije Nvidia i jedno na Appleovim grafičkim procesorima. Izmijenjeni su i C API i verzija formata sačuvanih sesija, pa programe koji koriste biblioteku treba provjeriti prije nadogradnje.
llama.cppprovjereno