Nemotron 3.5 Bolt sabija 74 milijarde parametara u 24 GB, a Nvidijini recepti za llama.cpp počinju od 32 GB

Nvidia je 15. oktobra 2026. objavila Nemotron 3.5 Bolt, model otvorenih težina za lokalne agente. Agenti su programi koji samostalno izvršavaju zadatke u više koraka, a Bolt je namijenjen da ih pokreće na računaru korisnika, bez slanja posla u oblak. Model ima 74 milijarde parametara, od kojih je za svaki token aktivno 9 milijardi, i spakovan je u 24 GB. Istog dana je objavljen i veći Nemotron 3.5 Super VL za servere, a najmanji model, Bolt E4B, stiže 23. oktobra 2026.

Kako je model sveden na 24 GB

Bolt je nastao sažimanjem većeg modela Super VL. Kao i on, Bolt je model mješavine eksperata, koji za svaki token koristi samo dio mreže. Nvidia navodi da je zato brži od većine popularnih modela slične veličine u kojima su svi parametri aktivni. Prima tekst, slike i video, a kontekst mu je do 262.144 tokena.

Kvantizacija čuva težine s manje bita po vrijednosti. Nvidia je eksperte modela svela na oko dva bita po parametru, tačnije 2,0625, i model je trenirala s tom preciznošću, da bi nadoknadila gubitak tačnosti. Datoteka u formatu GGUF, koji koristi llama.cpp, ima 22,0 GB, a dodatak za obradu slike još 1,7 GB.

Koliko memorije zaista treba

Ime modela navodi 24 GB, ali Nvidijina uputstva za llama.cpp polaze od više memorije, jer uz težine treba prostora i za kontekst. Kartica sa 24 GB nije među konfiguracijama koje Nvidia navodi. Ovo ukazuje na to da oznaka od 24 GB opisuje veličinu težina, a ne najmanju karticu na kojoj model radi s preporučenim podešavanjima.

Nvidia navodi i podršku u programima Ollama, LM Studio, Unsloth i vLLM. Za llama.cpp kartica modela daje dvije konfiguracije:

• Recept od 28 GB predviđen je za računar RTX Spark sa 64 GB ili za grafičku karticu od najmanje 32 GB, s kontekstom od 65.536 tokena.
• Recept od 32 GB predviđen je za RTX Spark sa 128 GB ili za karticu od najmanje 48 GB, s punim kontekstom od 262.144 tokena.

Šta pokazuju mjerenja proizvođača

Prema mjerenju koje je objavila Nvidia, Bolt na testu Terminal-Bench 2.1 postiže 50,98, a model Qwen3.6-35B-A3B 44,38. Na testu pretrage BrowseComp razlika je veća, 66,75 prema 48,74. Na testu PinchBench model Qwen3.6-35B-A3B, pokrenut s nekvantizovanim težinama BF16, u istoj tabeli postiže 88,07, a Bolt 87,82.

Nezavisna provjera tih rezultata nije objavljena, a Nvidijine brojke za Bolt odnose se na dvobitnu verziju. Oba modela objavljena su pod licencom OpenMDW-1.1, koja prema kartici modela dozvoljava komercijalnu i nekomercijalnu upotrebu.

Veći model za servere

Nemotron 3.5 Super VL ima 120 milijardi parametara, od kojih je 12 milijardi aktivno po tokenu, i kontekst do milion tokena. Za nekvantizovane težine BF16 kartica modela navodi četiri grafičke kartice H100 ili dvije GB200. Nvidia tvrdi da Super VL ima do pet puta veću propusnost od drugih modela u svojoj klasi.

Model je dostupan na Hugging Faceu, na ModelScopeu i kao Nvidijin mikroservis NIM. Na servisu OpenRouter 19. oktobra 2026. koštao je 0,10 dolara po milionu ulaznih i 0,40 dolara po milionu izlaznih tokena, a ponuđena je i besplatna varijanta.