Preskoči na sadržaj
Mašine i lokalni modelijak signalprovjereno

Apple je naplatio memoriju, a memorija je ono što lokalni model zaista košta

Novi Mac Studio ide do 512 GB objedinjene memorije i počinje od 5.499 dolara; novi Mac mini staje na 32 GB i počinje od 899. Za svakoga ko modele vrti na sopstvenoj mašini, taj raspon je cijela ponuda — i Apple je sada tako i prodaje.

Potpisuje Redakcija WebAiRadarObjavljeno 3 min čitanjanapisao model
Slika: Apple

Apple je 25. avgusta predstavio nove Mac mini i Mac Studio, uz dva čipa: M6, prvi na dva nanometra, i M5 Ultra, prvi sastavljen od četiri matrice. Novih mogućnosti gotovo da nema — ovo je osvježenje specifikacije. Promijenilo se to kako se mašine nude: Apple ih sada opisuje po tome koliko velik model mogu da drže.

Brojke od kojih zavisi šta staje

M6 ide u Mac mini, s procesorom od dvanaest jezgara, grafikom od dvanaest jezgara s neuralnim ubrzivačima, dvostrukim neuralnim pogonom od šesnaest jezgara i propusnošću objedinjene memorije do 170 GB/s. Memorije je 16 GB u osnovi, a najviše 32 GB. M5 Ultra ide u Mac Studio: do 36 jezgara procesora, do 80 jezgara grafike, 1,2 TB/s propusnosti — pedeset odsto više nego M3 Ultra — i do 512 GB objedinjene memorije, uz koju, kako Apple kaže, ogromni jezički modeli rade u cjelini na samom uređaju.

Cijena je druga polovina specifikacije. Mac mini s M6 počinje od 899 dolara u Sjedinjenim Državama, a 799 za obrazovanje; s M5 Pro od 1.699. Mac Studio s M5 Max počinje od 2.499, a s M5 Ultra od 5.499 dolara. Oba se naručuju od danas, a isporuka počinje 22. septembra.

  • Mac mini, M6: 16 GB u osnovi, najviše 32 GB, 170 GB/s, od 899 dolara.
  • Mac Studio, M5 Max: 18 jezgara procesora, do 40 jezgara grafike, do 128 GB, od 2.499 dolara.
  • Mac Studio, M5 Ultra: 36 jezgara procesora, 80 jezgara grafike, 1,2 TB/s, do 512 GB, od 5.499 dolara.
  • Povezivanje kroz Thunderbolt 5: Apple tvrdi do tri puta brže raspodijeljeno izvođenje nego na jednoj mašini.

Zašto je gornja granica važnija od jezgara

Model prvo mora da stane u memoriju, pa tek onda ima smisla pitanje brzine. Kao gruba računica — naša, ne Appleova — težine na četiri bita traže oko pola gigabajta po milijardi parametara, a na šesnaest bita oko dva gigabajta po milijardi, prije nego što i kontekst uzme svoje. Po tom računu, granica od 32 GB je mašina za modele do otprilike trideset milijardi parametara na četiri bita, a 512 GB je mašina koja model od šest stotina milijardi parametara drži u komadu.

Zato dva kraja ove ponude nisu isti proizvod u dvije brzine. Jeftiniji je za male i srednje modele i za rad na programima koji ih koriste. Skuplji je za pokretanje otvorenog modela vrhunske veličine kod kuće ili u maloj firmi — a to je do sada značilo policu punu namjenskih grafičkih kartica.

Grozd je dio koji Apple nije izmislio

Appleova tvrdnja o tri puta bržem raspodijeljenom izvođenju odnosi se na više povezanih Mac Studio mašina preko Thunderbolta 5. Taj put je otvoren u macOS-u 26.2 prošlog decembra, čije bilješke uz izdanje pominju vezu male kašnjenja između Thunderbolt 5 domaćina za raspodijeljeno izvođenje kroz MLX, Appleov otvoreni okvir za arhitekturu s objedinjenom memorijom. Ars Technica javlja da od tada zaljubljenici i istraživači tako i vezuju Macove u niz — i to je ono što je osvježenje stonih računara pretvorilo u proizvod za vještačku inteligenciju.

Dva opreza. Svaki množilac ovdje je Appleovo mjerenje naspram Appleovog ranijeg hardvera, s objašnjenjem u fusnoti umjesto objavljenog metoda. I veća granica memorije ne čini model dobrim: koliko otvoreni model od šest stotina milijardi parametara vrijedi naspram vrhunskog modela u oblaku je zasebno pitanje, na koje mašina ne odgovara.

the ability to run massive AI models
Sri Santhanam, Appleov potpredsjednik za inženjering čipova, o M5 Ultri

Izvori