Destilacija
Obuka manjeg modela na izlazima većeg, da bi se najveći dio kvaliteta dobio uz djelić cijene i čekanja.
Veliki model igra učitelja: on odgovara, a mali uči da odgovori isto. Na uskom zadatku se razmak zna zatvoriti gotovo sasvim, pa destilovan model često nadmaši opšti iste veličine.
To je uobičajen potez kad mogućnost radi, ali košta previše. Prvo se zadatak suzi, pa se skupe stvarni primjeri, pa se mali model mjeri prema velikom na sopstvenim evaluacijama, a ne na javnoj ocjeni.