Transformers sada pokreće llama.cpp kvantizacije na Apple Siliconu

Hugging Face je 22. septembra 2026. objavio podršku za GGUF u biblioteci transformers, a njen praktičan domet je uzak ali stvaran. Kvantizovana kontrolna tačka skrojena za memoriju prenosivog računara sada se učitava kroz from_pretrained i iz nje se odmah generiše tekst. Datoteka se ne pretvara i iz PyTorcha se ne izlazi. Repozitorijum s Huba i ime datoteke predaju se kao gguf_file, a ostatak uobičajenog koda se ne mijenja. Težine ostaju spakovane, a biblioteka dovlači ggml kernele za Metal koji umiju da ih pročitaju u tom obliku.

Šta je potrebno i šta staje

Uslovi su precizni: Mac s Apple Silicon čipom, verzija PyTorcha koju pokrivaju objavljena izdanja kernela, transformers iz glavne grane do sljedećeg izdanja i odgovarajuća verzija biblioteke kernels. Kerneli su mali programi koje grafički procesor izvršava nad tenzorima. Ako se kernel za pažnju ne može dovući, model se uz upozorenje vraća na sdpa umjesto da prekine rad, a bez odgovarajućeg kernela za kvantizaciju učitavač raspakuje težine i troši više memorije.

Veličina datoteke je brojka koja odlučuje šta se na datoj mašini uopšte može pokrenuti, a Hugging Face je objavljuje za model Qwen3.5-4B izdavača Unsloth. Iste težine idu od 8,42 gigabajta u nekvantizovanom obliku do 2,74 gigabajta u obliku Q4_K_M, od kojeg objava i predlaže da se krene. Q5_K_M i Q6_K su koraci naviše kad memorije ima više.

• BF16: 8,42 gigabajta, nekvantizovana polazna vrijednost.
• Q6_K: 3,53 gigabajta, više preciznosti nego manje varijante.
• Q5_K_M: 3,14 gigabajta, sredina između veličine i preciznosti.
• Q4_K_M: 2,74 gigabajta, preporučena polazna varijanta.

Koliko se približava llama.cpp-u

Hugging Face je mjerio na prenosivom računaru MacBook Pro s čipom M2 Max i 32 gigabajta objedinjene memorije, na sistemu macOS 26.6, uz PyTorch 2.12.1 i biblioteku kernels 0.17.0, s računarom na napajanju. Vrijednost za llama.cpp daje alat llama-bench, koji mjeri samo stvaranje 128 tokena, u prosjeku tri ponavljanja. Vrijednost za transformers nastaje generisanjem istih 128 tokena iz prompta od dvanaest tokena, kao najbolji od tri zagrijana prolaza, i u nju ulazi i obrada prompta.

U objavi stoji da je transformers blizu llama.cpp-a na sve tri mjerene kontrolne tačke, i izričito se kaže da dva mjerenja ne teku pod istovjetnim uslovima. Pojedinačne brojke su samo na grafikonu, a u tekstu ih nema, pa ovdje nema brojke koja bi se navela. Hugging Face uz to ne mijenja svoju preporuku: llama.cpp mu ostaje motor prvog izbora kad je prioritet efikasno lokalno izvođenje.

Zbog čega ovo ipak vrijedi imati

Dobit nije brži ćaskajući program. Dobit je to što GGUF kontrolna tačka postaje običan PyTorch model, pa se mogu pratiti međuvrijednosti, mijenjati prolaz unaprijed ili pokrenuti postojeći postupak evaluacije nad kvantizovanom datotekom. Pretvaranje se provjerava tako što se izvorna i GGUF verzija učitaju jedna uz drugu. Dodatno učenje iz GGUF kontrolne tačke ide kroz GgufConfig(dequantize=True).

Ograničenja su jasno navedena. Put sa spakovanim težinama za sada radi samo preko MPS-a, obuhvat arhitektura su modeli Qwen3.5 i odgovarajuće kontrolne tačke modela Qwen3.8, a grupe ulaza s dopunjavanjem ne mogu da koriste prečicu s maskom i umiju da budu sporije. Dvije izmjene su ušle u samu funkciju generate, pa koriste svakom modelu u biblioteci: nepotrebna maska pažnje uklanja se rano, a uslov za zaustavljanje se očitava korak kasnije, da procesor ne bi stajao.