Izvor

llama.cpp

3 stavke

Pogon na kojem stoji skoro svaki lokalni pokretač, izdanje po izdanje. Primaran za to koju arhitekturu podržava, koji formati kvantizacije postoje i šta je zaista postalo brže.

github.com ↗

Mašine i lokalni modeli

llama.cpp 0.4.0 dodao je četiri arhitekture modela, prenos preko Apple RDMA i opcije za video

Izdanje 0.4.0 objavljeno je 4. septembra 2026. To je numerisana verzija, a ne jedna od noćnih gradnji. Donosi početnu podršku za Qwen3.8-Flash-Next, za NVIDIA Nemotron-3-Puzzle-75B-A9B, za DSpark kod Nemotrona 3.5 i za nanbeige4.2-3B. Apple RDMA postaje prenos za RPC, video stiže u komandnu liniju, a kvantizacija dobija gornju granicu memorije. Dvije podrazumijevane vrijednosti na serveru su promijenjene, a snimljeno stanje sesije dobija novu oznaku verzije.

llama.cpp5. septembraprovjereno

Mašine i lokalni modeli

llama.cpp je dva dana radio na dugom kontekstu, a dobitak je pao na tri različita backenda

Između 29. i 31. avgusta 2026. llama.cpp je isporučio niz izmjena koje gađaju isto mjesto: dio zaključivanja koji postaje sporiji kako kontekst raste. Vulkan, CUDA i putanje za Metal i OpenCL dobili su svaka svoju popravku, uz brojke koje su autori objavili. Uz njih su zatvorena i tri rušenja. Ništa od toga ne traži zastavicu — stiže sa sljedećim izdanjem.

llama.cpp31. avgustaprovjereno

Mašine i lokalni modeli

Memorija određuje šta možeš da vrtiš lokalno, a cijena po tokenu da li ti se to isplati

Lokalni model ima jedan tvrd uslov prije nego što se uopšte otvori pitanje brzine, kvaliteta ili licence: težine moraju da stanu u memoriju. Izbor mašine se time svodi na računicu na papiru, a Appleovi stoni računari od 25. avgusta daju tri cijene naspram kojih se ona vodi — 899 dolara za granicu od 32 GB, 2.499 za 128 GB i 5.499 za 512 GB. Ovaj vodič pokazuje šta gdje staje, čime se pokreće, za šta je koja veličina dobra i poslije koliko tokena sopstvena mašina postaje jeftinija od plaćanja po tokenu.

Apple, OpenRouter, DeepSeek27. avgustaprovjereno