Gemini 3.7 Flash, pročitan iz Googleovih brojki

Na ovom modelu nismo pokrenuli nijednu evaluaciju. Ovo je čitanje onoga što je Google objavio — objave, kartice modela, changeloga i cjenovnika — a vrijednost takvog čitanja nije u prepričavanju rezultata. Vrijednost je u razmaku između stranice napisane da model najavi i stranice napisane da ga dokumentuje, jer te dvije stranice ne govore sasvim isto.

Šta se tvrdi, i na osnovu čega

Istaknuti rezultati su veliki i dolaze od Googlea. Na testu FrontierCode 1.1 model postiže 43,6 odsto naspram 34,4 odsto koliko ima Gemini 3.6 Flash. Na DeepSWE v1.1 stiže do 65,3 odsto. Na Terminal-benchu 2.1 ide sa 78 na 85,8 odsto, na AutomationBenchu sa 17 na 30,4, na OSWorldu 2.0 sa 33,8 na 47,9, a na testu pamćenja dugog konteksta GDM-MRCR v2 sa 91,8 na 97 odsto. Kartica nabraja sedamnaest evaluacija i uz svaku stavlja rezultat prethodnika, što je više nego što većina objava iznese.

Kartica daje i oblik same stvari: ulazni prozor od milion tokena, gornju granicu izlaza od 64.000 tokena, tekst, sliku, zvuk i video na ulazu, granicu znanja u martu 2026. i bezbjednosnu provjeru koju Google sažima kao sličnu ili bolju u odnosu na 3.6 Flash, a da nije pređen nijedan prag praćenih kritičnih sposobnosti.

Model je, dakle, ono što o sebi kaže. Ostatak ovog teksta govori o četiri stvari koje ti kaže samo kartica.

Prvo: isti rezultat nije isti na dvije Googleove stranice

U objavi Gemini 3.6 Flash na DeepSWE v1.1 ocijenjen je na 49 odsto. Na kartici modela ocijenjen je na 48,6. Isti model, ista evaluacija, isti proizvođač, isti dan, dvije brojke. Napredak je zato 16,3 ili 16,7 poena, zavisno od toga koju si Googleovu stranicu čitao dok si ga zapisivao.

Te dvije stranice se ne slažu ni oko imena. Ono što objava zove WebDev Arena, kartica zove Code Arena Web; rezultati, 1588 naspram 1538, poklapaju se. Nijedno od toga nije skandal i nijedno ne mijenja zaključak. Važno je zato što je brojka s evaluacije upotrebljiva samo ako onaj ko je navodi i onaj ko je provjerava dođu do iste vrijednosti, a ovdje neće.

Praktično pravilo glasi: navodi karticu. To je dokument koji donosi cijelu tabelu umjesto pet redova izabranih za najavu, i to je dokument uz koji čitalac može da uporedi i sljedeći model u nizu.

Drugo: jedan rezultat je pao, i njega u objavi nema

Jedini test na kojem je model nazadovao je CharXiv, kojim se mjeri čitanje grafikona, i to u oba svoja reda. Bez alata Gemini 3.7 Flash ima 84,5 odsto tamo gdje je 3.6 Flash imao 85,2; s alatima 88,7 naspram 89,4. Pad je mali i potpuno izostaje iz objave, koja ističe pet evaluacija i među njima ne bira nijednu koja se pomjerila u pogrešnom smjeru.

Niko ništa nije sakrio: brojka stoji na Googleovoj kartici, objavljenoj istog dana. Ali ako 3.6 Flash mijenjaš u poslu koji iz dokumenata čita grafikone i brojke, izdanje koje je popravilo šesnaest stvari pogoršalo je baš onu na koju se oslanjaš, a to iz najave koju si dobio ne bi saznao.

Druga brojka koju kartica nosi, a objava ne, je Terminal-bench 3.0, gdje rezultat ide sa 5,4 na 14,9 odsto. To je gotovo utrostručenje, i to je i dalje četrnaest zarez devet odsto. Na najtežem terminalskom testu koji Google objavljuje, najbolji jeftini model za kod dovrši otprilike jedan zadatak od sedam. Kad se pročita uz 85,8 odsto na Terminal-benchu 2.1, taj par je najpošteniji opis toga gdje su agenti trenutno, a u objavu je ušla samo jedna njegova polovina.

Treće: cijena nije svojstvo ovog modela

Objava je oko toga izričita: 3.7 Flash je do kraja godine dostupan po uvodnoj cijeni od 0,75 dolara za milion ulaznih i 3,75 dolara za milion izlaznih tokena. To je jasna izjava o vremenski ograničenoj cijeni, a Google na cjenovnik štampa i datum i naredne stope od 1,50 i 7,50 dolara. Niko ovdje nikoga ne obmanjuje.

Ono što se u toj slici gubi jeste da cijena nije nova i nije vezana za ovaj model. Gemini 3.6 Flash košta potpuno istih 0,75 i 3,75 dolara, pod potpuno istom napomenom koja ističe 31. decembra 2026. Niža cijena je stigla sa 3.6 Flashom, za koji u changelogu piše da dolazi po nižoj cijeni od 3.5 Flasha. Verzija 3.7 ju je naslijedila. Ako si pročitao da je ovo izdanje prepolovilo trošak, prepolovljavanje se desilo jedno izdanje ranije.

Posljedica za budžet je ona iz tabele cijena: 1. januara 2027. udvostručuju se ulaz, izlaz, čitanje iz keša i čuvanje keša, pa posao koji po tim cijenama košta šest dolara na hiljadu kratkih poziva tada košta dvanaest. Biranje 3.7 Flasha umjesto 3.6 Flasha je odluka o kvalitetu, jer po cijeni su isti red.

Četvrto: granica znanja ima drugu granicu ispod sebe

Kartica kao granicu znanja daje mart 2026. godine, a onda dodaje da su pojedine oblasti ograničene na januar 2025. Ta druga rečenica je jedan red i zaslužuje više pažnje nego što joj dužina obećava: za te oblasti je znanje modela četrnaest mjeseci starije od brojke koju bi naveo. Google ne kaže koje su to oblasti, pa je jedino bezbjedno čitanje da svježa granica ne opisuje ravnomjerno svaku temu.

Drugo ograničenje koje kartica navodi, a objava ne, jeste granica izlaza. Ulazni prozor je milion tokena; gornja granica izlaza je 64.000. Za sažimanje, razvrstavanje i odgovaranje to je više nego dovoljno. Za stvaranje dugog dokumenta u jednom prolazu to je zid u koji ćeš udariti, a takva ograničenja se pokazuju u proizvodnji, ne na evaluacijama.

Šta nismo provjerili

Nijednu od ovih evaluacija nismo pokrenuli i ne možemo reći da li se brojke ponavljaju. Svaki rezultat ovdje je Google koji svoj model mjeri prema svom prethodniku, što je uobičajen postupak i istovremeno razlog da se veličina napretka uzima opreznije od njegovog smjera.

Nismo provjerili ni odziv, ni propusnost pod opterećenjem, ni pouzdanost pozivanja alata, ni ponašanje na jezicima na kojima je pisan ovaj sajt. To su stvari koje odlučuju da li je jeftin model upotrebljiv, nijedna od njih ne stoji na kartici s evaluacijama, a jedini način da se saznaju jeste da kroz model propustiš sopstveni saobraćaj sedmicu dana.