Qwen je otvorio model od 125 milijardi parametara sa šest milijardi aktivnih, a hardver bira kvantizovana datoteka

Qwen je 26. avgusta objavio težine modela Qwen3.8-Flash-Next i opisao ga kao rani pregled arhitekture na kojoj će biti građen Qwen4. Za onoga ko bira šta da vrti kod kuće, dvije brojke ovo odvajaju od uobičajene objave modela otvorenih težina: glavni model ima 125 milijardi parametara, a po tokenu aktivira njih 6 milijardi.

Šta mora da stane u memoriju

Glavni model ima 125 milijardi parametara, uz 51 milijardu parametara N-gram vektorskog ugrađivanja i još 4 milijarde za predviđanje više tokena, što u zbiru daje 180 milijardi; po tokenu se aktivira njih 6 milijardi. Rijetka aktivacija je ono što generisanje čini brzim i na skromnoj mašini. Ukupan zbir je ono zbog čega model ne staje, i to je ograničenje oko kojeg se zaista pravi plan.

Simon Willison, koji objavljuje sopstvene oglede umjesto da prepričava tuđe, vrti ga na DGX Sparku kroz Unsloth kvantizovane verzije. Navodi dvije: UD-IQ1_S od 72,5 gigabajta i UD-Q2_K_XL od 78,9 gigabajta. Te veličine datoteka su zahtjev u najupotrebljivijem obliku. Riječ je o mašini s otprilike 80 gigabajta upotrebljive memorije, dakle o DGX Sparku ili Macu s mnogo memorije, a ne o laptopu.

Jedna odluka u arhitekturi cilja upravo na ovaj slučaj. Qwen kaže da se tabela N-gram vektorskog ugrađivanja može izmjestiti u memoriju domaćina i preklopiti s računanjem modela kroz asinhrono dohvatanje unaprijed, pa najveći pojedinačni blok parametara ne mora da bude u ubrzivaču uz sve ostalo.

Arhitektura koju će Qwen4 naslijediti

Izdanje donosi četiri izmjene. Pažnja je hibridna. Tri od svaka četiri sloja koriste Gated DeltaNet da istoriju sabiju u stanje stalne veličine. Preostali sloj koristi globalnu pažnju, sada uz Qwen Sparse Attention, koji važan kontekst bira na nivou mikroblokova umjesto pojedinačnih tokena. Gated Residual širi zaostatni tok u četiri grane pod dinamičkom kapijom. N-gram vektorsko ugrađivanje kapacitet povećava pretragom tabele, a ne računanjem. Optimizator Muon zamjenjuje raniju postavku, uz zakon skaliranja iznova podešen za novu arhitekturu.

Qwen kaže da je obuka time otprilike devet puta jeftinija nego kod modela Qwen3.7-Plus, koji ima 397 milijardi parametara sa 17 milijardi aktivnih. Kontekst je izvorno 262.144 tokena i produžava se na milion tokena kroz YaRN. Otvorene težine su na Hugging Faceu i ModelScopeu, a produkcijska verzija se poslužuje na QwenCloudu.

Gdje je na mjerenjima

Qwenova sopstvena tabela stavlja ga na 62,5 na testu SWE-bench Pro, naspram 55,8 koliko ima Qwen3.7-Plus i 53,4 koliko ima Claude Opus 4.6, zatim na 81,0 na testu SWE-bench Multilingual i na 58,7 na DeepSWE 1.1. Na opštem skupu prijavljuje 91,7 na GPQA Diamondu i 91,9 na LiveCodeBenchu v6. Na multimodalnoj strani AndroidWorld je 84,5.

To su mjerenja samog proizvođača, izvedena uz njegov izbor okruženja, i tako ih treba i čitati dok ih neko nezavisan ne ponovi. Ono što jesu utvrdila je oblik tvrdnje: model koji aktivira 6 milijardi parametara stavlja se naspram modela koji aktiviraju 17 milijardi.