Liquid AI objavio nacrtne modele koji kraćaju odziv poziva alata za 57 odsto

Liquid AI je objavio DSpark nacrtne kontrolne tačke za tri modela iz porodice LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B i LFM2.5-8B-A1B. One dodaju put spekulativnog dekodiranja koji malo povećanje memorije mijenja za veliko ubrzanje, a kompanija navodi da kvalitet izlaza ostaje isti.

Brojke

Liquid AI navodi do 3,18 puta veći protok na grafičkoj kartici i do 2,87 puta na uređaju. Za agente je važnija druga brojka: odziv poziva alata pada u prosjeku za 57 odsto kod modela LFM2.5-2.6B. Agentske petlje najviše vremena provedu čekajući kratke pozive alata, pa prepolovljeno čekanje mijenja šta je uopšte upotrebljivo na prenosivom računaru ili telefonu.

Podrška za llama.cpp i SGLang je ušla u izvorne projekte na dan objave, a ne sedmicama kasnije, i to je razlika između objave s mjerenjima i nečega što se pokreće još danas.

• Do 3,18 puta veći protok na grafičkoj kartici, do 2,87 puta na uređaju.
• Odziv poziva alata manji za 57 odsto u prosjeku, kod modela LFM2.5-2.6B.
• Nacrtne kontrolne tačke za LFM2.5-1.2B-Instruct, LFM2.5-2.6B i LFM2.5-8B-A1B.
• Podrška za llama.cpp i SGLang objavljena u otvorenom kodu istog dana.

Zašto spekulativno dekodiranje ovdje pomaže

Dekodiranje je ograničeno memorijom, a ne računom. Najveći dio odziva odlazi na prenos težina iz DRAM-a u SRAM, a ne na aritmetiku. Mali nacrtni model predloži nekoliko tokena, ciljni model ih provjeri u jednom prolazu, i trošak učitavanja tih težina se dijeli na sve provjerene tokene umjesto da se plaća za svaki.

DSpark spaja tri dijela: paralelnu okosnicu u duhu DFlasha, uslovljenu obilježjima konteksta ciljnog modela; laku sekvencijalnu glavu modelovanu kao Markovljev lanac između susjednih tokena, koja podiže prihvatanje na kasnijim mjestima; i provjeravač s rasporedom povjerenja, koji odbacuje repove niskog povjerenja kad bi njihova provjera koštala više nego što donosi.

Jedna pojedinost iz obuke koju vrijedi ukrasti

Nacrtni modeli su namjerno jednostavni: samo pažnja, pet slojeva, blok od devet. Liquid AI je odradio 15 epoha nad cijelim skupom, pa izabrao epohu s najvišom stopom prihvatanja, a ne onu s najnižim gubitkom.

Taj izbor je cijeli trik. Gubitak mjeri koliko nacrt uopšteno oponaša ciljni model; stopa prihvatanja mjeri koliko često njegova pogađanja stvarno prežive provjeru, a jedino se to pretvara u brzinu. Optimizovati mjeru po kojoj se plaća, umjesto one koju je lako nacrtati, navika je koju vrijedi ponijeti u svoj posao.