Liquid AI objavio nacrtne modele koji kraćaju odziv poziva alata za 57 odsto

DSpark kontrolne tačke dodaju spekulativno dekodiranje trima modelima iz porodice LFM2.5. Liquid AI navodi do 3,18 puta veći protok na grafičkoj kartici i 2,87 puta na uređaju, uz nepromijenjen kvalitet izlaza, i podršku za llama.cpp i SGLang od prvog dana.

Liquid AI je objavio DSpark nacrtne kontrolne tačke za tri modela iz porodice LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B i LFM2.5-8B-A1B. One dodaju put spekulativnog dekodiranja koji malo povećanje memorije mijenja za veliko ubrzanje, a kompanija navodi da kvalitet izlaza ostaje isti. Brojke Liquid AI navodi do 3,18 puta veći protok na grafičkoj kartici i do 2,87 puta na uređaju. Za agente je važnija druga brojka: odziv poziva alata pada u prosjeku za 57 odsto kod modela LFM2.5-2.6B. Agentske petlje najviše vremena provedu čekajući kratke pozive alata, pa prepolovljeno čekanje mijenja šta je uopšte upotrebljivo na prenosivom računaru ili telefonu. Podrška za llama.cpp i SGLang je ušla u izvorne projekte na dan objave, a ne sedmicama kasnije, i to je razlika između objave s mjerenjima i nečega što se pokreće još danas. Do 3,18 puta veći protok na grafičkoj kartici, do 2,87 puta na uređaju. Odziv poziva alata manji za 57 odsto u prosjeku, kod modela LFM2.5-2.6B. Nacrtne kontrolne tačke za LFM2.5-1.2B-Instruct, LFM2.5-2.6B i LFM2.5-8B-A1B. Podrška za llama.cpp i SGLang objavljena u otvorenom kodu istog dana. Zašto spekulativno dekodiranje ovdje pomaže Dekodiranje je ograničeno memorijom, a ne računom. Najveći dio odziva odlazi na prenos težina iz DRAM-a u SRAM, a ne na aritmetiku. Mali nacrtni model predloži nekoliko tokena, ciljni model ih provjeri u jednom prolazu, i trošak učitavanja tih težina se dijeli na sve provjerene tokene umjesto da se plaća za svaki. DSpark spaja tri dijela: paralelnu okosnicu u duhu DFlasha, uslovljenu obilježjima konteksta ciljnog modela; laku sekvencijalnu glavu modelovanu kao Markovljev lanac između susjednih tokena, koja podiže prihvatanje na kasnijim mjestima; i provjeravač s rasporedom povjerenja, koji odbacuje repove niskog povjerenja kad bi njihova provjera koštala više nego što donosi. Jedna pojedinost iz obuke koju vrijedi ukrasti Nacrtni modeli su namjerno jednostavni: samo pažnja, pet slojeva, blok od devet. Liquid AI je odradio 15 epoha nad cijelim skupom, pa izabrao epohu s najvišom stopom prihvatanja, a ne onu s najnižim gubitkom. Taj izbor je cijeli trik. Gubitak mjeri koliko nacrt uopšteno oponaša ciljni model; stopa prihvatanja mjeri koliko često njegova pogađanja stvarno prežive provjeru, a jedino se to pretvara u brzinu. Optimizovati mjeru po kojoj se plaća, umjesto one koju je lako nacrtati, navika je koju vrijedi ponijeti u svoj posao.