Preskoči na sadržaj
Šta tražiš?. Otvori pretraguEN
Mašine i lokalni modelisrednji signalprovjereno

llama.cpp sada pokreće Kolibri-1 kompanije Aleph Alpha, a datoteka Q4_K_M ima 49,8 GB

Izdanje b11709 objavljeno je 17. oktobra 2026. i dodaje u llama.cpp podršku za Kolibri-1, njemačko-engleski model kompanije Aleph Alpha sa 78 milijardi parametara. GGUF datoteke imaju od 17,6 GB do 156,3 GB, pa se model može pokrenuti i bez serverskih kartica koje proizvođač navodi kao minimum. Kasnije izdanje istog dana dodaje pretragu i preuzimanje modela iz veb-interfejsa.

Potpisuje Redakcija WebAiRadarObjavljeno 2 min čitanjanapisao model

Izvor

llama.cpp b11709

llama.cpp · Original objavljen 17. oktobra 2026.

Otvoreni projekat llama.cpp, izvršno okruženje koje jezičke modele pokreće na običnim računarima, od izdanja b11709 podržava model Kolibri-1. Izdanje je objavljeno 17. oktobra 2026. Njemačka kompanija Aleph Alpha objavila je model 3. oktobra 2026. pod licencom Apache 2.0. Njeno uputstvo predviđa serverske grafičke kartice, a GGUF datoteke za llama.cpp počinju od 17,6 GB.

Šta je Kolibri-1

Kolibri-1 je model mješavine eksperata, pravljen za njemački i engleski jezik. Ima 78 milijardi parametara, ali je za svaki token aktivno samo 3,46 milijardi. Svaki od 50 slojeva ima 384 eksperta, manje podmreže, i jednog zajedničkog eksperta, a usmjerivač za svaki token bira šest.

Izvorna dužina konteksta je 262.144 tokena, a kompanija navodi da je kvalitet provjerila do 1.048.576 tokena. Prema mjerenju proizvođača, model na naučnom testu GPQA Diamond postiže 84,3 na engleskom i 81,3 na njemačkom. Nezavisna provjera tih rezultata nije objavljena.

Šta je dodato u llama.cpp

Izmjena pretvara težine kompanije Aleph Alpha u GGUF datoteku i opisuje llama.cpp-u raspored slojeva modela. Većina slojeva pažnje gleda samo prethodnih 512 tokena, a svaki peti sloj vidi cijeli kontekst. Prema autoru izmjene, FP8 kopija koju je Aleph Alpha objavio ne traži poseban kod.

Koliko prostora zauzima koja datoteka

Kvantizacija čuva težine s manje bita po vrijednosti, pa je datoteka manja, uz određeni gubitak tačnosti. Autor kvantizacija poznat kao bartowski objavio je GGUF datoteke modela Kolibri-1, napravljene izdanjem b11716. Veličine ispod su onakve kakve navodi Hugging Face.

  • IQ1_S je najmanja datoteka i ima 17,6 GB.
  • IQ2_M ima 28,1 GB.
  • Q3_K_M ima 37,6 GB.
  • Q4_K_M ima 49,8 GB.
  • Q6_K ima 69,0 GB, a Q8_0 ima 83,1 GB.
  • Nekvantizovana kopija BF16 ima 156,3 GB.

Šta staje na koji računar

Model radi upotrebljivom brzinom tek kad datoteka, uz prostor za kontekst i operativni sistem, stane u memoriju. Iz toga se može zaključiti da na računar sa 32 GB staju samo najmanje varijante. Na 64 GB staje Q4_K_M, a Q8_0 traži više. Za FP8 težine od oko 78 GB Aleph Alpha kao minimum navodi dvije kartice A100 od 80 GB ili jednu H200.

Autor izmjene je sa sopstvenom verzijom Q4_K_M izmjerio 106,01 token u sekundi pri generisanju, na serveru sa četiri kartice A800. Mjerenje na računaru za kućnu upotrebu nije objavljeno, kao ni nezavisan test kvaliteta kvantizovanih datoteka.

Pretraga modela iz veb-interfejsa

Izdanje b11714, objavljeno istog dana, dodaje u veb-interfejs programa llama-server pregled Discover Models. On pretražuje GGUF modele na Hugging Faceu, za svaku varijantu pokazuje da li staje u memoriju i preuzima je uz mogućnost pauze i nastavka. Podešavanje je podrazumijevano isključeno i uključuje se u interfejsu.

Izvori

Oznakelokalni modeliOtvorene težineLokalno izvođenjeKvantizacija

Povezano

LLAMA.CPP B11701103,1 GBnajmanja GGUF datoteka za model Beam
Mašine i lokalni modelisrednji signal

llama.cpp sada pokreće Reflectionov model Beam, a najmanja GGUF datoteka ima 103,1 GB

Izdanje b11701 dodaje u llama.cpp podršku za Beam, otvoreni model laboratorije Reflection sa 501 milijardom parametara. Unsloth je objavio GGUF datoteke veličine od 103,1 GB do oko 1 TB, pa se model može pokrenuti i bez serverskog softvera kao što su vLLM i SGLang. Mjerenje brzine još nije objavljeno.

llama.cppprovjereno

LLAMA.CPP B115567,63 GBBonsai 2 bez posebne verzije
Mašine i lokalni modelisrednji signal

llama.cpp sada pokreće ternarni model Bonsai 2 bez posebne verzije kompanije PrismML

Izdanje b11556 dodaje rotaciju težina koja je modelu Bonsai 2 nedostajala u zvaničnom llama.cpp-u. Datoteka Q2_0 od 7,63 GB tamo sada daje ispravan izlaz, a manja pakovanja PQ2_0 i PTQ1_0 i dalje traže verziju same kompanije.

llama.cppprovjereno

Ilustracija procesorskog čipa na tamnoplavoj podlozi, obavijenog svijetlim plavim i narandžastim tokovima podataka, sa sočivom kamere i lebdećim panelima s grafikonima oko njega.
Mašine i lokalni modelisrednji signal

Google objavio ML Drift kao otvoreni kod i najavio prelazak sa starog GPU delegata

Googleov tim AI Edge objavio je 8. oktobra 2026. ML Drift kao softver otvorenog koda, pod licencom Apache 2.0. Riječ je o računskom pokretaču koji omogućava izvršavanje modela mašinskog učenja na GPU-u samog uređaja, a koji je dio LiteRT-a, ali se može koristiti i kao zasebna biblioteka. Istovremeno, stariji TFLite GPU delegat više neće dobijati nove funkcionalnosti, pa će programeri koji ga koriste morati da razmotre prelazak na ML Drift.

Google Developers Blogprovjereno