NVIDIA je objavila besplatan alat koji lokalno izvođenje modela raspoređuje na slobodne računare u kući
Personal AI Router je objavljen 3. septembra 2026. na sajmu IFA. Alat je besplatan, otvorenog koda, i radi na sistemima Windows, macOS i Linux: pronalazi saglasne računare na lokalnoj mreži i svaki nezavisan zahtjev za izvođenje šalje onom koji ima slobodan kapacitet, pa uporedni podzadaci agenta prestaju da čekaju u redu pred istom grafičkom karticom. Sarađuje s alatima Ollama i LM Studio, a podržava GeForce RTX 20 Series i novije, radne stanice s karticama RTX PRO, DGX Spark i Apple silicijum M4. Memoriju, međutim, ne udružuje, pa model koji ne staje na jedan računar ni dalje ne staje.
Izvor
Sparks Fly: NVIDIA Accelerates Local AI at IFA 2026NVIDIA Blog i NVIDIA Newsroom · Original objavljen 3. septembra 2026.
Dobar dio smisla lokalnog izvođenja modela nestane kad četiri podzadatka agenta čekaju u redu pred istom grafičkom karticom. Odgovor kompanije NVIDIA, objavljen 3. septembra 2026. na sajmu IFA, jeste besplatan alat otvorenog koda pod imenom Personal AI Router, skraćeno PAIR. On pronalazi saglasne računare na lokalnoj mreži i svaki nezavisan zahtjev za izvođenje šalje sistemu koji ima slobodan kapacitet, a raspored mijenja kako se uređaji priključuju i isključuju.
Šta alat radi
PAIR aplikacijama i agentima daje jednu lokalnu krajnju tačku i iza nje prosljeđuje zahtjeve. Pri objavi podržava dvije pozadine koje mnogi već koriste, Ollama i LM Studio, a dolazi i s grafičkim i s terminalskim okruženjem na sistemima Windows, macOS i Linux. Postavljanje se, po opisu proizvođača, svodi na to da se alat instalira na svaki računar, da se računari upare na istoj mreži i da se aplikacija usmjeri na tu krajnju tačku.
Tvrdnja o privatnosti proizlazi iz same građe, a ne iz obećanja u pravilima. NVIDIA navodi da promptovi, datoteke i kontekst agenta ostaju na lokalnoj mreži umjesto da odlaze usluzi izvođenja u oblaku, a alatu veza s internetom za rad nije potrebna. Ona se traži samo za preuzimanje modela.
- Kartice GeForce RTX 20 Series i novije.
- Radne stanice s karticama RTX PRO, od arhitekture Turing naviše.
- NVIDIA DGX Spark.
- Apple silicijum M4 ili noviji.
Šta alat ne radi
Ovaj dio treba pročitati prije nego što se oko alata isplanira posao. Uređaji ostaju odvojeni sistemi koji rade uporedne poslove, a PAIR ih ne spaja u jedan virtuelni grafički procesor. Model koji ne staje u memoriju jednog računara na mreži ni dalje ne staje: drugi računar donosi veću propusnost na nezavisnim zahtjevima, a ne prostor za veći model.
Ostatak sitnih slova je uobičajen za probno izdanje. Alat je u fazi probnog izdanja (beta), okruženje mu je samo na engleskom, traži 8 gigabajta radne memorije ili više, a proizvođač preporučuje i 20 gigabajta prostora na disku.
Šta je objavljeno uz njega
U istoj objavi su i brojke o brzini izvođenja, i one su mjerenje samog proizvođača, a ne nezavisan test. Stižu kroz pozadine koje se lokalno i inače koriste, pa se dobijaju osvježavanjem, bez ijedne izmjene u postavci.
- llama.cpp: do 1,9 puta veća propusnost na kartici GeForce RTX 5090, iz optimizacije jezgara, boljeg spekulativnog dekodiranja i bržeg punjenja konteksta, navodi NVIDIA.
- vLLM: 1,2 puta na radnoj stanici RTX PRO 6000 Blackwell i do 1,4 puta na dva povezana sistema DGX Spark, navodi NVIDIA.
- Računari NVIDIA RTX Spark sa sistemom Windows stižu u oktobru 2026.
„PAIR ih ne spaja u jedan virtuelni grafički procesor.“
Izvori
Povezano
Nemotron 3.5 Bolt sabija 74 milijarde parametara u 24 GB, a Nvidijini recepti za llama.cpp počinju od 32 GB
Nvidia je 15. oktobra 2026. objavila dva otvorena modela za agente, veliki Nemotron 3.5 Super VL i manji Nemotron 3.5 Bolt za rad na računaru korisnika. Bolt je dvobitnom kvantizacijom sveden na paket od 24 GB. Nvidijina uputstva za llama.cpp ipak navode grafičku karticu od najmanje 32 GB ili računar RTX Spark sa 64 GB memorije.
NVIDIAprovjereno
llama.cpp sada pokreće Kolibri-1 kompanije Aleph Alpha, a datoteka Q4_K_M ima 49,8 GB
Izdanje b11709 objavljeno je 17. oktobra 2026. i dodaje u llama.cpp podršku za Kolibri-1, njemačko-engleski model kompanije Aleph Alpha sa 78 milijardi parametara. GGUF datoteke imaju od 17,6 GB do 156,3 GB, pa se model može pokrenuti i bez serverskih kartica koje proizvođač navodi kao minimum. Kasnije izdanje istog dana dodaje pretragu i preuzimanje modela iz veb-interfejsa.
llama.cppprovjereno
llama.cpp sada pokreće Reflectionov model Beam, a najmanja GGUF datoteka ima 103,1 GB
Izdanje b11701 dodaje u llama.cpp podršku za Beam, otvoreni model laboratorije Reflection sa 501 milijardom parametara. Unsloth je objavio GGUF datoteke veličine od 103,1 GB do oko 1 TB, pa se model može pokrenuti i bez serverskog softvera kao što su vLLM i SGLang. Mjerenje brzine još nije objavljeno.
llama.cppprovjereno