Amazon je objavio TorchNeuron, javno beta izdanje koje PyTorch kod izvršava na čipovima Trainium

Amazon je objavio TorchNeuron, softver s kojim PyTorch radi direktno na čipovima Trainium, koje kompanija iznajmljuje kroz svoj oblak AWS. Predstavljen je 19. oktobra 2026. Od 20. oktobra 2026. dostupan je kao javno beta izdanje pod licencom Apache 2.0. PyTorch je najrašireniji okvir za pravljenje i obučavanje AI modela. Ranije verzije Amazonovog softvera Neuron do Trainiuma su stizale preko posebnog sloja PyTorch/XLA, a sada se čip PyTorchu prikazuje kao običan uređaj pod imenom neuron.

Šta se mijenja u kodu

Backend je sloj koji PyTorchu govori kako da izvršava proračune na određenom hardveru. TorchNeuron se uključuje preko mehanizma PrivateUse1, koji PyTorch zvanično predviđa za dodavanje novog hardvera. Model se na čip prebacuje pozivom .to('neuron'), a za kompajlirane modele navodi se torch.compile(model, backend="neuron").

Podržana su dva režima rada. U režimu neposrednog izvršavanja (eager) svaka operacija se izvrši odmah, a torch.compile model pretvara u optimizovan graf. Programeri mogu da pišu i sopstvene kernele niskog nivoa, kroz Neuron Kernel Interface (NKI). Prilagodljivi eager režim, koji treba da približi brzinu kompajliranom kodu, označen je kao eksperimentalan.

Prilagođene su i biblioteke oko PyTorcha. Trainium je podržan uređaj u bibliotekama Transformers, Diffusers i TRL kompanije Hugging Face, pa se model na čip učitava parametrom device_map="neuron". Obuka na više čipova radi kroz standardne alate PyTorcha, kao što su FSDP2 i TorchTitan.

Šta prvo izdanje ne obuhvata

Za instalaciju je potrebna instanca Trn2 ili Trn3, Python 3.12, 3.13 ili 3.14 i PyTorch 2.14. Modeli mogu da koriste formate BF16, FP32 i FP16. FP8 i biblioteka za kvantizaciju TorchAO zasad su dostupni samo u zatvorenom beta programu.

AWS navodi i mogućnosti koje je namjerno izostavio iz prvog izdanja. Među njima su rijetki tenzori (sparse), NestedTensor, automatsko diferenciranje unaprijed (forward-mode autograd) i tenzori dinamičkog i simboličkog oblika. Tim navodi da ih korisnici nisu tražili.

Rezultati testova pokazuju dokle podrška zasad seže. U avgustovskom prolazu kroz PyTorchove sopstvene testove zabilježeno je oko 154 hiljade ishoda. Oko 39 hiljada testova AWS je namjerno preskočio za Neuron, od čega oko 22 hiljade zato što operacije još nemaju izvornu implementaciju za Trainium.

Tvrdnje koje niko nije nezavisno izmjerio

Amazon navodi da postojeći PyTorch kod radi na Trainiumu uz jednu promjenu podešavanja i bez ponovnog pisanja koda. Brojke o uštedi potiču od Amazonovih korisnika. Kompanija Deepgram, koja razvija prepoznavanje govora, navodi da Trainium u mjerenjima koja je sama izabrala obradi oko 60 odsto više sekundi ulaznog zvuka po dolaru nego njene dosadašnje GPU konfiguracije.

Nezavisno poređenje brzine ili cijene TorchNeurona s drugim čipovima nije objavljeno, a najava ne navodi cijene instanci. Iz toga se može zaključiti da je za tim praktičan prvi korak uži od samog prelaska: provjera da li njegov model koristi neku od mogućnosti koje beta izdanje ne podržava.