Google je objavio ML Drift kao otvoreni kod, a TFLite GPU delegat više neće dobijati nove mogućnosti

Googleov tim AI Edge objavio je 8. oktobra 2026. ML Drift kao otvoreni kod, pod licencom Apache 2.0. ML Drift je računski pokretač za grafički procesor (GPU) koji izvodi modele mašinskog učenja na samom uređaju, na telefonu, u pregledaču ili na računaru, umjesto na serveru. Na njemu već radi GPU ubrzanje u LiteRT-u, Googleovom okruženju za izvođenje modela na uređaju, a isti kod je sada dostupan i kao samostalna biblioteka sa C++ interfejsom.

Šta se mijenja za TFLite GPU delegat

Uz ovo izdanje, stari TFLite GPU delegat više neće dobijati nove mogućnosti. Delegat je komponenta koja je do sada prosljeđivala modele TensorFlow Lite grafičkom procesoru. Google preporučuje programerima da pređu na LiteRT ML Drift GPU akcelerator.

Kompanija navodi da je novi akcelerator potpuno kompatibilan s postojećim modelima i da modeli koji su radili na starom delegatu odmah postaju brži. To su tvrdnje proizvođača, a objava ne navodi nezavisnu provjeru prelaska.

Na Androidu je ubrzanje preko ML Drifta već dostupno u samostalnim paketima LiteRT. U verziju LiteRT-a koja se isporučuje kroz Google Play Services stiže kasnije, a Google za to ne navodi datum.

Iz toga se može zaključiti da aplikacija na starom delegatu i dalje radi, ali da će nove mogućnosti za grafički procesor, poput onih opisanih u nastavku, programeri dobijati samo kroz LiteRT.

Šta pokretač mijenja u radu s grafičkim procesorom

Najvažnija promjena je ono što Google naziva virtualizacijom tenzora. Tenzor je višedimenzionalni niz brojeva nad kojim model računa. Stari delegat je svaki tenzor vezivao za određen objekat na grafičkom procesoru, teksturu ili bafer, i to posebno za OpenGL, OpenCL i Metal. Zato je svaki od tih interfejsa tražio sopstveni kod šejdera, odnosno programa koji se izvršavaju na grafičkom procesoru. ML Drift tu vezu razrješava pri pokretanju modela, pa isti šabloni šejdera služe za sve interfejse.

Pokretač podržava i tenzore s pet dimenzija (5D). Stari delegat je bio ograničen na 4D, pa su trodimenzionalne konvolucione mreže i modeli koji istovremeno obrađuju prostor i vrijeme tražili zaobilazna rješenja. Google kao primjere modela koji sada rade direktno na grafičkom procesoru navodi YOLO 11n, MobileViT v2 i Swin Transformer v2.

Za velike jezičke modele ML Drift koristi različite kernele, odnosno funkcije koje se izvršavaju na grafičkom procesoru, i različit raspored podataka u memoriji za dvije faze generisanja. U fazi prefill model obrađuje cijeli prompt, a u fazi decode generiše tokene jedan po jedan. Uz pokretač ide i vodič SKILL.md, namijenjen agentima za programiranje koji pišu, registruju i provjeravaju sopstvene šejdere.

Gdje radi i šta je Google izmjerio

ML Drift podržava OpenGL ES, OpenCL, Metal i WebGPU, čime pokriva Android, iOS i pregledač. Pregledno izdanje za računare radi na Windowsu i Linuxu preko Dawna, Chromiumove implementacije WebGPU-a, koja omogućava da isti kod radi i van pregledača. Na macOS-u radi preko Metala. Chrome već koristi ML Drift za izvođenje modela Gemini Nano u svojim ugrađenim AI interfejsima, među kojima su Prompt, Summarize i Writer API.

Sve brojke o brzini u objavi potiču od Googlea ili njegovih partnera. Prema podacima kompanije, efekti u YouTube Shortsu imaju do 40 odsto manje prosječno kašnjenje po kadru na Androidu i iOS-u. Adobe navodi do 30 odsto brži rad funkcija Select Subject, Select Sky i Adaptive Portrait u svojim mobilnim aplikacijama. U Googleovim testovima s modelima Gemma ML Drift je imao do 12 odsto manju dodatnu potrošnju memorije od drugih okvira, koje objava ne imenuje. Nezavisno mjerenje nije objavljeno, a rezultati za računare prikazani su samo u grafikonima.