llama.cpp je dva dana radio na dugom kontekstu, a dobitak je pao na tri različita backenda

Čitano jedno po jedno, posljednja tri dana llama.cpp-a izgledaju kao dnevnik izmjena. Čitano zajedno, to je jedan posao: dugi kontekst je mjesto na kojem lokalno zaključivanje postaje skupo, i četiri odvojene izmjene krenule su na njega, na četiri različita backenda.

Dugi kontekst, tri popravke

Najveća pojedinačna brojka dolazi iz jedne jedine pomoćne funkcije. Ona je prolazila kroz ćelije keša čiji je broj rastao s kontekstom, i taj posao je sada uklonjen. Na kartici RTX PRO 6000 s modelom Qwen3.8-Flash-Next, na 132.000 tokena konteksta, generisanje se popelo sa 33,6 na 50,9 tokena u sekundi, u izdanju b10707. Obrada upita ostaje ista, a na kratkim upitima se ne vidi ništa.

Vulkan je dobio sortiranje po ciframa za izbor najboljih k kandidata, za k od 1024 naviše, koliko traži model Qwen 3.8 Flash Next. Na mašini DGX Spark, na 32.768 tokena konteksta, obrada upita popela se sa 390,1 na 520,8 tokena u sekundi — iznad 498,5 koliko je na istoj mašini izmjereno na CUDA-i. Na nultoj dubini konteksta isti kod je nešto sporiji, pa dobitak pripada dugom kontekstu i ničemu drugom.

Na CUDA-i je pomoćni kod koji dodjeljuje niti u warpu tokenima koristio prečicu samo kad broj aktivnih eksperata dijeli warp bez ostatka, uz jedan jedini ručno upisan izuzetak, gdje se 6 dopunjavalo na 8. Kad se ta dopuna uopšti na sljedeći stepen dvojke, prečicu dobija i broj 10. Na istoj kartici RTX PRO 6000, na 55.000 tokena, obrada upita popela se sa 2.334 na 2.600 tokena u sekundi, u izdanju b10704.

Mali paketi na AMD-u

Dvije konstante u Vulkanovoj putanji za množenje matrice i vektora ponovo su podešene za kartice s arhitekturom RDNA3, a dobitak počinje kod paketa od pet kolona. U autorovom mikro-mjerenju najviše dobijaju četvorobitni kvantizovani tipovi, do 46,2 odsto na osam kolona. Izmjena je uslovljena AMD-ovim hardverom te arhitekture, a autor je imao jednu jedinu mašinu sa Strix Halom, pa ostaje otvoreno da li se iste brojke pojavljuju i na drugim karticama te generacije.

Telefonski čipovi dobili su svoj prolaz

Na generaciji Adreno X2 OpenCL sada podrazumijevano koristi brži način množenja matrica. Autor izmjene mjeri obradu upita za model gpt-oss-20b kao oko 25 odsto bržu, uz drugu izmjenu koja vrijedi približno 9 odsto na modelu gemma-3n-E4B. Brzina generisanja tokena u oba slučaja ostaje nepromijenjena. Oboje je izašlo u izdanju b10687.

Hexagon backend je prestao da broj Qualcommovih NPU jezgara čita iz unaprijed upisane tablice i sada ga traži od čipa u toku rada, u izdanju b10693. Ista izmjena zaustavlja zauzimanje NPU sesija dok se backend pokreće i uspostavlja ih tek kad se model zaista učita. Od uređaja koje je autor testirao, tačno jedan telefon odgovara na novi upit, pa se na svemu ostalom i dalje koriste upisane vrijednosti.

Tri zatvorena rušenja

Prijava greške od 29. avgusta pokazala je da se llama.cpp ruši na Appleovom Metal backendu kad kvantizovana težina sretne operand u formatu F16 na putanji za jedan token. Jezgro koje taj oblik traži nikada nije napisano, a kod je upotrijebio prazan pokazivač koji je zbog toga dobio, umjesto da posao odbije. Ispravljeno u izdanju b10691.

Drugo rušenje, pri pomjeranju konteksta s nekvantizovanim K kešom, zatvoreno je istog jutra u izdanju b10690. Odvojeno od toga, jedan klijent nije mogao da radi s više RPC servera odjednom: pokazivači na udaljene bafere slali su se i kad je bafer pripadao drugom serveru, pa je taj server dobijao adresu koja kod njega ništa ne znači i odbijao da izgradi graf. Ispravka šalje pokazivač samo kad bafer pripada baš toj vezi, a uz nju je dodat i test s dva servera, jer greška ne postoji kad je server samo jedan.