Liquid AI je objavio pomoćne modele za spekulativno dekodiranje koji skraćuju odziv poziva alata za 57 odsto

Liquid AI je objavio DSpark kontrolne tačke pomoćnih modela za tri modela iz porodice LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B i LFM2.5-8B-A1B. One dodaju put spekulativnog dekodiranja koji malo povećanje memorije mijenja za veliko ubrzanje, a kompanija navodi da kvalitet izlaza ostaje isti.

Brojke

Liquid AI navodi do 3,18 puta veći protok na grafičkoj kartici i do 2,87 puta na uređaju. Za agente je važnija druga brojka: odziv poziva alata skraćuje se u prosjeku za 57 odsto kod modela LFM2.5-2.6B. Agentske petlje najviše vremena provedu čekajući kratke pozive alata, pa prepolovljeno čekanje mijenja šta je uopšte upotrebljivo na prenosivom računaru ili telefonu.

Podrška za llama.cpp i SGLang je ušla u izvorne projekte na dan objave, a ne sedmicama kasnije, i to je razlika između objave s mjerenjima i nečega što se može pokrenuti odmah.

• Do 3,18 puta veći protok na grafičkoj kartici, do 2,87 puta na uređaju.
• Odziv poziva alata manji za 57 odsto u prosjeku, kod modela LFM2.5-2.6B.
• Kontrolne tačke pomoćnih modela za LFM2.5-1.2B-Instruct, LFM2.5-2.6B i LFM2.5-8B-A1B.
• Podrška za llama.cpp i SGLang objavljena u otvorenom kodu istog dana.

Zašto spekulativno dekodiranje ovdje pomaže

Dekodiranje je ograničeno memorijom, a ne računom. Najveći dio odziva odlazi na prenos težina iz DRAM-a u SRAM, a ne na aritmetiku. Mali pomoćni model predloži nekoliko tokena, ciljni model ih provjeri u jednom prolazu, i trošak učitavanja tih težina se dijeli na sve provjerene tokene umjesto da se plaća za svaki.

DSpark spaja tri dijela. Prvi je paralelna okosnica u duhu DFlasha, uslovljena obilježjima konteksta ciljnog modela. Drugi je laka sekvencijalna glava, modelovana kao Markovljev lanac između susjednih tokena, koja podiže prihvatanje na kasnijim mjestima. Treći je provjeravač s rasporedom povjerenja, koji odbacuje repove niskog povjerenja kad bi njihova provjera koštala više nego što donosi.

Jedna pojedinost iz obuke

Pomoćni modeli su namjerno jednostavni: samo pažnja, pet slojeva, blok od devet. Liquid AI je odradio 15 epoha nad cijelim skupom, pa izabrao epohu s najvišom stopom prihvatanja, a ne onu s najnižim gubitkom.

Taj izbor je cijeli trik. Gubitak mjeri koliko nacrt uopšteno oponaša ciljni model; stopa prihvatanja mjeri koliko često njegova pogađanja stvarno prežive provjeru, a jedino se to pretvara u brzinu. Optimizovati mjeru po kojoj se plaća, umjesto one koju je lako nacrtati, navika je koja se isplati i izvan ovog slučaja.