Tencent je otvorio model od 770 milijardi parametara, a same težine su 1,56 terabajta

Težine modela Hy4 preview objavljene su na Hugging Faceu 27. avgusta, a kartica modela dovršena je sutradan. To je najveće izdanje otvorenih težina koje je tim Tencent Hy do sada napravio, a dvije brojke koje ga opisuju odgovaraju na različita pitanja.

Šta zaista mora da stane

Preuzimanje je 1,56 terabajta, raspoređeno u 131 datoteku formata safetensors, u zapisu BF16. Izdanje FP8 je 0,81 terabajt u 130 datoteka. Nijedno od toga nije prijenosni računar, Mac Studio ni jedan ubrzivač, a kartica modela ne navodi kvantizaciju koja bi ga svela na taj red veličine.

Ovo je, dakle, otvoren model koji se ugošćuje, a ne koji se pokreće na svojoj mašini. Razlika je važna jer se otvorene težine obično prenose kao da su kućna mogućnost, a na ovoj veličini izbor je između iznajmljivanja hardvera i iznajmljivanja modela od nekoga ko ga već ima.

Ukupno 770 milijardi, u radu 49

Okosnica ima 78 slojeva. Prvi koristi običnu gustu mrežu, a preostalih 77 umjesto nje ima mješavinu stručnjaka, svaki sa 256 usmjerenih i jednim zajedničkim stručnjakom. Svaki token pokreće osam najboljih usmjerenih i jednog zajedničkog, i odatle dolazi brojka od 49 milijardi.

Uz okosnicu stoji i jedan ugrađen sloj za predviđanje više tokena, od 10 milijardi parametara od kojih radi 0,7 milijardi, namijenjen nagađajućem dekodiranju. Pažnja je Gated DeepSeek Sparse Attention s IndexCacheom za ponovnu upotrebu rijetkog indeksa među slojevima, a rezidualni put koristi identity Hyper-Connections kroz četiri toka.

• Kontekst od milion tokena, skrivena dimenzija 6144, 64 glave pažnje.
• Rječnik od 120.832 tokena.
• Indekser uzima 2048 najboljih, uz sažimanje upita na 2048 i ključ-vrijednosti na 512.
• Postavljanje je dokumentovano za vLLM i SGLang, kroz Docker kontejnere.

Licenca je ono što putuje dalje

Hy4 preview i Hy4 preview-FP8 objavljeni su pod licencom Apache 2.0, na Hugging Faceu, ModelScopeu, GitCodeu i CNB-u. Apache 2.0 ne nosi ograničenje namjene ni posebnu komercijalnu licencu o kojoj se pregovara, a to ne važi za svaki model koji sebe naziva otvorenim.

Na ovom broju parametara takav spoj je rijedak. Između firme i ovog modela stoji budžet za hardver, a ne pravni pregled, i to nisu prepreke iste vrste.

Tencent ga je mjerio prema kineskim modelima, i mjerio ga je sam

Kartica navodi slijepo poređenje sprovedeno unutar Tencenta: 163 stručnjaka iz firme ocijenila su izlaze na 203 inženjerska zadatka. Hy4 preview je prosječno dobio 2,99 prema 2,92 za GLM 5.3, uz 46,8 odsto pobjeda, 12,8 odsto neriješenih i 40,4 odsto poraza, i prema 2,94 za Kimi K3, uz 51,2 odsto pobjeda, 7,9 odsto neriješenih i 40,9 odsto poraza.

Iz toga slijedi dvoje. Poređenje ide prema drugim otvorenim kineskim modelima, a ne prema zapadnima, što govori gdje Tencent vidi nadmetanje. I ocjenjivači rade u firmi koja je model napravila, pa je ovo tvrdnja proizvođača o sopstvenom mjestu, a ne nezavisan rezultat. Tabele mjerenja na kartici objavljene su kao slike, pa se rezultati iz njih ovdje ne navode.

Oznaka preview ovdje nešto znači

Tencent sam imenuje otvorene probleme, umjesto da posao prepusti riječi preview. Na kartici stoji da model na složenim zadacima razmišlja duže nego što treba i da previše provjerava sopstveni rad, te da i predobuka i doobuka imaju još prostora.

To vrijedi više od jednog reda u tabeli. Predugo razmišljanje i pretjerana provjera su upravo ono što se na agentskom poslu pretvara u račun za tokene i u čekanje, pa se prvo mjere na sopstvenim zadacima.