llama.cpp 0.6.0 podržava GLM-5.3-Flash, a server dobija API za modele za odlučivanje

Bilješke uz izdanje obuhvataju izmjene od verzije 0.5.0. Za korisnike koji modele pokreću na sopstvenom hardveru važne su četiri grupe izmjena: novi podržani modeli, izmjerena ubrzanja spekulativnog dekodiranja, nove mogućnosti servera i izmjene interfejsa od kojih zavise drugi programi.

Novi modeli, među njima i jedan sa 320 milijardi parametara

Verzija 0.6.0 učitava GLM-5.3-Flash, koji se u bilješkama uz izdanje navodi i pod imenom GLM5-Next. Autor izmjene opisuje ga kao hibridni model za tekst i sliku sa 320 milijardi parametara. Konvertovane GGUF datoteke dostupne su preko veze u zahtjevu za spajanje izmjena (pull request). Prema autoru, u tim datotekama oko 1 GB malih tenzora osjetljivih na preciznost nije kvantizovano.

U istom zahtjevu navedena su dva ograničenja. Spekulativno dekodiranje tipa MTP za ovaj model ostavljeno je za zaseban zahtjev, a istovremena obrada više sekvenci zahtijeva opciju --kv-unified.

Izdanje dodaje i podršku za Ling 3.0 VL i za modele za odlučivanje Clef i Nimble, o kojima govori odjeljak o serveru.

Dva izmjerena ubrzanja spekulativnog dekodiranja

Oba mjerenja potiču od autora izmjena i objavljena su u njihovim zahtjevima. To nisu nezavisni testovi.

Prva izmjena dodaje spekulativno dekodiranje tipa MTP za arhitekturu koja se u bilješkama uz izdanje zove Qwen4Exp. Autor ju je mjerio na računaru DGX Spark, na modelu Qwen3.8-Flash-Next u kvantizaciji iq4_xs i na 24 prompta. Brzina dekodiranja porasla je sa 28,36 na 43,88 tokena u sekundi, što autor navodi kao ubrzanje od 1,55 puta. Navedena prosječna stopa prihvatanja predloženih tokena je 0,640. Režim se uključuje opcijom --spec-type draft-mtp.

Druga izmjena dodaje u backend Metal nove kernele za množenje matrica s malim brojem redova. Takve operacije nastaju pri spekulativnom dekodiranju i pri istovremenoj obradi više sekvenci. Kerneli se koriste na Appleovim grafičkim procesorima bez tenzorskog API-ja, a autor navodi da su to čipovi od M1 do M4. Na čipu M3 Ultra, s modelom Qwen3.8-27B u kvantizaciji Q4_0, autor je izmjerio da generisanje s osam paralelnih sekvenci raste sa 38,6 na 119,7 tokena u sekundi. Brzina s jednom sekvencom ostala je 32,9 tokena u sekundi.

Isti zahtjev pokazuje šta to znači za rad s pomoćnim modelom za spekulativno dekodiranje. Prije izmjene je dekodiranje s pomoćnim modelom DFlash2 na tom računaru bilo sporije od običnog serijskog dekodiranja: 30,2 prema 32,1 tokena u sekundi, na promptu s kodom i pri temperaturi 0. Poslije izmjene isti test daje 110,0 tokena u sekundi, a brzina serijskog dekodiranja nije se promijenila.

Krajnja tačka servera za modele za odlučivanje

Server dobija novu krajnju tačku, /v1/systemone, za modele koje projekat naziva modelima za odlučivanje (decision models). Zahtjev sadrži stanje, na primjer poruku kupca s podacima o porudžbini, i skup pitanja. Svako pitanje traži izbor jedne od ponuđenih opcija, odgovor da ili ne, ili ocjenu na skali, a model vraća vjerovatnoće. Krajnja tačka podržava modele laya, julia-1, lev, openjev i kev, a izdanje je proširuje na Nimble i Clef.

Autor te modele opisuje kao omotače oko uobičajenih modela za vektorske reprezentacije (embedding), pa je izmjena u osnovnoj biblioteci mala. Konvertovane GGUF datoteke za pet navedenih modela objavljene su na nalogu ggml-org na platformi Hugging Face.

Ostale izmjene servera su manje. GET /v1/models sada u novom objektu architecture navodi ulazne i izlazne modalitete svakog modela. /v1/embeddings prima tipizovan sadržaj sa slikom, zvukom i videom, a na neispravan zahtjev vraća HTTP 400. Ugrađeni veb interfejs dobija preuzimanje modela, sloj podataka za Hugging Face Hub i provjeru da li model staje u memoriju.

Šta se mijenja za programe koji koriste biblioteku

Bilješke uz izdanje navode sljedeće izmjene interfejsa:

• Zaglavlje include/llama.h dobija prošireni API za grupe ulaza, llama_batch_ext, s pozivom llama_process(). Novi API prima grupe u kojima su pomiješani tokeni i embedding vektori, a primjeri, server i multimodalna biblioteka već ga koriste.
• Formati sačuvanih sesija imaju nove brojeve verzije: LLAMA_SESSION_VERSION je 11, a LLAMA_STATE_SEQ_VERSION je 4.
• Funkcija mtmd_get_memory_usage() sada vraća strukturu mtmd_memory_usage, pa se kod koji je poziva mora prilagoditi.
• Ugrađena biblioteka ggml sada je verzije 0.26.0. Ta verzija omogućava gradnju za Windows ARM64 prevodiocem MSVC i dodaje kernele za sparse flash attention na backendima Vulkan, SYCL i Metal.