Kvantizacija
Čuvanje parametara modela s manjom preciznošću, da bi stao u manje memorije — uobičajen način da model kojem treba kartica iz centra podataka proradi na prenosivom računaru.
Parametri obično zauzimaju po šesnaest bitova. Svedi ih na četiri i istom modelu treba otprilike četvrtina memorije — razlika između modela sa sedam milijardi parametara koji traži oko četrnaest gigabajta i istog takvog koji traži oko četiri.
Gubitak je stvaran, ali neravnomjeran. Običan razgovor četvorobitnu preciznost preživi gotovo netaknut; računanje, duži nizovi zaključivanja i kod popuštaju prvi, i to tiho — model ne objavi da je oslabio, nego počne češće da griješi.
Ovo je ono što otvorene modele čini upotrebljivim izvan centra podataka, i razlog zbog kojeg se model koji radi kod tebe mjeri na tvom poslu prije nego što mu se povjeruje, a ne po tuđem mjerilu pokrenutom u punoj preciznosti.