Preskoči na sadržaj
Šta tražiš?. Otvori pretraguEN
Mašine i lokalni modelisrednji signalprovjereno

llama.cpp sada pokreće Reflectionov model Beam, a najmanja GGUF datoteka ima 103,1 GB

Izdanje b11701 dodaje u llama.cpp podršku za Beam, otvoreni model laboratorije Reflection sa 501 milijardom parametara. Unsloth je objavio GGUF datoteke veličine od 103,1 GB do oko 1 TB, pa se model može pokrenuti i bez serverskog softvera kao što su vLLM i SGLang. Mjerenje brzine još nije objavljeno.

Potpisuje Redakcija WebAiRadarObjavljeno 2 min čitanjanapisao model

Izvor

llama.cpp b11701

llama.cpp · Original objavljen 16. oktobra 2026.

Otvoreni projekat llama.cpp, izvršno okruženje koje jezičke modele pokreće na običnim računarima, od izdanja b11701 podržava model Beam. Američka laboratorija Reflection objavila je taj model sa 501 milijardom parametara 16. oktobra 2026. Podrška u llama.cpp-u dodata je istog dana. Do tada su za Beam bili dokumentovani samo Transformers, vLLM i SGLang, a vodič Hugging Facea je hardver računao u serverskim grafičkim karticama.

Šta je dodato u llama.cpp

Izmjena je spojena u glavni projekat 16. oktobra 2026. Donosi tri dijela: skriptu koja Reflectionove težine pretvara u GGUF datoteku, graf izračunavanja modela i čitač formata u kojem Beam poziva alate. Autor izmjene je u istoj raspravi uputio i na Unslothove gotove GGUF datoteke.

Beam je model mješavine eksperata. Svaki od njegovih 49 slojeva s ekspertima ima 256 eksperata, manjih podmreža, a usmjerivač za svaki token bira osam. Ispred tih slojeva su tri sloja u kojima su svi parametri aktivni. Mehanizam pažnje odlučuje koje ranije tokene model uzima u obzir. Kod Beama se smjenjuju slojevi koji vide samo posljednjih 512 tokena i slojevi koji vide cijeli kontekst, bez kodiranja položaja.

Čitač poziva alata je važan za rad agenata. Beam pozive alata piše u sopstvenoj varijanti formata Harmony, pa ih llama-server bez čitača ne bi pretvorio u strukturisane pozive. Autor navodi da su sesije s više razmjena i paralelnim pozivima alata prošle od početka do kraja kroz llama-server.

Prave težine modela autor je pokrenuo samo na NVIDIA-inoj platformi CUDA. Ostale provjere, uključujući test arhitekture na procesoru, rađene su na malom modelu s nasumičnim težinama i istim rasporedom slojeva. Te provjere potvrđuju da se računanje poklapa s referentnom implementacijom, ali ne pokazuju koliko brzo radi pravi model.

Koliko prostora zauzima koja datoteka

Kvantizacija čuva težine s manje bita po vrijednosti, pa je datoteka manja, uz određeni gubitak tačnosti. Unslothov repozitorijum ima 11 kvantizovanih varijanti i punu kopiju u formatu BF16. Veličine ispod su zbir dijelova svake datoteke, kako ih navodi Hugging Face.

  • UD-IQ1_S je najmanja datoteka i ima 103,1 GB.
  • UD-Q2_K_XL ima 186,9 GB.
  • UD-Q3_K_XL ima 242,3 GB.
  • UD-Q4_K_XL ima 306,5 GB.
  • Q8_0 ima 532,8 GB.
  • Nekvantizovana kopija BF16 ima oko 1 TB.

Šta staje na koji računar

Model radi upotrebljivom brzinom tek kad cijela datoteka, uz prostor za kontekst, stane u memoriju. Iz toga se može zaključiti da računar sa 128 GB memorije prima samo najmanju datoteku. Na 256 GB staje UD-Q2_K_XL, a UD-Q4_K_XL traži više od toga. Poređenja radi, vodič Hugging Facea za verziju NVFP4 od oko 280 GB preporučuje četiri kartice B200, ukupno 720 GB memorije.

Manje bita znači veće odstupanje od originalnog modela. Unsloth za svaku datoteku objavljuje grafikon tog odstupanja, mjerenog Kullback-Leiblerovom divergencijom. Nezavisan test kvaliteta kvantizovanog modela Beam još nije objavljen.

Javno mjerenje brzine modela Beam u llama.cpp-u takođe još ne postoji. Po tokenu je aktivno oko 23,4 milijarde parametara. Ovo ukazuje na to da je za svakoga ko želi da ga pokrene prvo ograničenje količina memorije, a ne računska snaga.

Izvori

Oznakelokalni modeliOtvorene težineLokalno izvođenjeKvantizacija

Povezano

LLAMA.CPP B1170949,8 GBKolibri-1 kao datoteka Q4_K_M
Mašine i lokalni modelisrednji signal

llama.cpp sada pokreće Kolibri-1 kompanije Aleph Alpha, a datoteka Q4_K_M ima 49,8 GB

Izdanje b11709 objavljeno je 17. oktobra 2026. i dodaje u llama.cpp podršku za Kolibri-1, njemačko-engleski model kompanije Aleph Alpha sa 78 milijardi parametara. GGUF datoteke imaju od 17,6 GB do 156,3 GB, pa se model može pokrenuti i bez serverskih kartica koje proizvođač navodi kao minimum. Kasnije izdanje istog dana dodaje pretragu i preuzimanje modela iz veb-interfejsa.

llama.cppprovjereno

LLAMA.CPP B115567,63 GBBonsai 2 bez posebne verzije
Mašine i lokalni modelisrednji signal

llama.cpp sada pokreće ternarni model Bonsai 2 bez posebne verzije kompanije PrismML

Izdanje b11556 dodaje rotaciju težina koja je modelu Bonsai 2 nedostajala u zvaničnom llama.cpp-u. Datoteka Q2_0 od 7,63 GB tamo sada daje ispravan izlaz, a manja pakovanja PQ2_0 i PTQ1_0 i dalje traže verziju same kompanije.

llama.cppprovjereno

Ilustracija procesorskog čipa na tamnoplavoj podlozi, obavijenog svijetlim plavim i narandžastim tokovima podataka, sa sočivom kamere i lebdećim panelima s grafikonima oko njega.
Mašine i lokalni modelisrednji signal

Google objavio ML Drift kao otvoreni kod i najavio prelazak sa starog GPU delegata

Googleov tim AI Edge objavio je 8. oktobra 2026. ML Drift kao softver otvorenog koda, pod licencom Apache 2.0. Riječ je o računskom pokretaču koji omogućava izvršavanje modela mašinskog učenja na GPU-u samog uređaja, a koji je dio LiteRT-a, ali se može koristiti i kao zasebna biblioteka. Istovremeno, stariji TFLite GPU delegat više neće dobijati nove funkcionalnosti, pa će programeri koji ga koriste morati da razmotre prelazak na ML Drift.

Google Developers Blogprovjereno