Izdanje b11077 alata llama.cpp više ne prosljeđuje datoteku s ključevima podređenim serverima
Izdanje b11077 objavljeno je 21. septembra 2026. i ispravlja kvar u prijavi u režimu rutera alata llama.cpp. Kad je server pokrenut i s ključem u komandnoj liniji i s datotekom ključeva, podređene instance su provjeravale samo ključeve iz datoteke, pa je klijent s ključem iz komandne linije mogao da dobije spisak modela, a na svaki razgovor s modelom dobijao je odgovor 401. Ista izmjena zaustavlja i to da putanja do datoteke ključeva uopšte stigne do podređenog procesa. Riječ je o jednoj liniji u jednoj datoteci, a razlika je između postavke koja radi i one koja izgleda zdravo dok odbija posao.
Režim rutera u alatu llama.cpp stavlja jedan server ispred više instanci modela, a prijava pripada tom prvom serveru. Kod nije radio tako. Do izdanja b11077, objavljenog 21. septembra 2026. godine, ruter pokrenut i sa zastavicom --api-key i sa zastavicom --api-key-file prosljeđivao je datoteku instancama koje pokreće, a one su zatim prihvatale samo ključeve iz nje.
Šta nije radilo
Kvar je 12. septembra 2026. prijavio korisnik koji je ruter pokretao na Macu, s oba izvora ključeva. Zahtjev za spisak modela prolazio je sa svakim ključem, i onim iz komandne linije i onima iz datoteke. Zahtjev za razgovor s modelom, koji ruter prosljeđuje podređenoj instanci, prihvatao je ključeve iz datoteke, a onaj iz komandne linije odbijao odgovorom 401 i porukom o neispravnom ključu. Klijent koji je vidio spisak modela nije mogao da upotrijebi nijedan.
Uzrok je bila jedna stavka koja nedostaje. Postupak koji prije pokretanja podređene instance uklanja rezervisane argumente poništavao je promjenljivu okruženja s ključem, ali ne i onu s putanjom do datoteke ključeva, pa je do djeteta stizao samo taj drugi izvor. Prijavilac je primijetio i da zastavica s datotekom stoji među argumentima podređenog procesa, gdje je pročita svako ko na toj mašini može da ispiše pokrenute procese. Unutrašnji pozivi samog rutera, koji zaglavlje s prijavom i ne nose, odbijani su istim odgovorom 401, bez poruke.
- Prijavljeno 12. septembra 2026. Spojeno i objavljeno 21. septembra 2026.
- Znak kvara: spisak modela prolazi sa svakim ključem, a razgovor s modelom samo s onima iz datoteke.
- Sporedna posljedica: putanja do datoteke ključeva pojavila se među argumentima podređenog procesa.
- Ispravka je jedna dodata linija u jednoj datoteci.
Šta ispravka mijenja
Izmjena dodaje promjenljivu s datotekom ključeva na spisak argumenata koji se poništavaju prije pokretanja podređene instance. Nijedan ključ API-ja sada ne stiže do podređene instance, svaki ključ koji ruter prihvata radi kroz cio zahtjev, a unutrašnji pozivi rutera prestaju da vraćaju 401. Obrazloženje u zahtjevu za spajanje izmjena je jedna rečenica pravila: u režimu rutera prijava pripada ruteru.
Održavaoci jednako otvoreno navode i bezbjednosnu polovinu, da izmjena drži ključeve izvan argumenata podređenog procesa. Argumenti procesa nisu mjesto za tajne. Na mašini koju dijeli više ljudi čitaju ih i drugi nalozi, a završavaju i u ispisima procesa, izvještajima o padu i nadzornim agentima koji nikad nisu bili predviđeni da čuvaju pristupne podatke.
Šta s tim uraditi
Ko llama.cpp pokreće u režimu rutera s datotekom ključeva, treba da pređe na izdanje b11077 ili novije. Sam oblik kvara vrijedi zapamtiti i poslije nadogradnje, jer je od onih koji pojedu pola dana: server se pokrene, provjere zdravlja odgovaraju, spisak modela odgovara, a odbijeni se vraćaju samo oni zahtjevi koji nešto rade.
Jedno moguće objašnjenje za to koliko je kvar opstao jeste da dva izvora ključeva spolja izgledaju zamjenljivo. Oba samo dodaju ključeve na spisak prihvaćenih, pa niko ne očekuje da jedan od njih usput odlučuje i po čemu se provjerava podređeni proces. Greška je, kako navodi prijavilac, postojala još od preuređenja unaprijed zadatih postavki, a to je drugi razlog zbog kojeg se ovakva ispravka čita: kaže koje postavke niko nije probao.
„U režimu rutera prijava pripada ruteru.“
Izvori
Povezano
llama.cpp sada pokreće ternarni model Bonsai 2 bez posebne verzije kompanije PrismML
Izdanje b11556 dodaje rotaciju težina koja je modelu Bonsai 2 nedostajala u zvaničnom llama.cpp-u. Datoteka Q2_0 od 7,63 GB tamo sada daje ispravan izlaz, a manja pakovanja PQ2_0 i PTQ1_0 i dalje traže verziju same kompanije.
llama.cppprovjereno
Google je objavio ML Drift kao otvoreni kod, a TFLite GPU delegat više neće dobijati nove mogućnosti
Googleov tim AI Edge objavio je 8. oktobra 2026. pokretač ML Drift pod licencom Apache 2.0. To je dio LiteRT-a koji izvodi modele na grafičkom procesoru samog uređaja, a može se koristiti i kao zasebna biblioteka. Stariji TFLite GPU delegat od sada ne dobija nove mogućnosti, pa aplikacije koje ga koriste čeka prelazak.
Google Developers Blogprovjereno
llama.cpp 0.6.0 podržava GLM-5.3-Flash, a server dobija API za modele za odlučivanje
Projekat llama.cpp objavio je 5. oktobra 2026. verziju 0.6.0. Izdanje dodaje podršku za GLM-5.3-Flash, model za tekst i sliku sa 320 milijardi parametara, i novu krajnju tačku servera za modele za odlučivanje (decision models). Dvije izmjene u spekulativnom dekodiranju objavljene su uz mjerenja autora, jedno na računaru DGX Spark kompanije Nvidia i jedno na Appleovim grafičkim procesorima. Izmijenjeni su i C API i verzija formata sačuvanih sesija, pa programe koji koriste biblioteku treba provjeriti prije nadogradnje.
llama.cppprovjereno