Kontekstni prozor
Koliko teksta model može da drži pred sobom odjednom, mjereno u tokenima: razgovor, datoteke, ishodi alata i odgovor koji upravo piše.
Sve dijeli isti budžet. Dugačka datoteka pročitana na početku i dalje stoji tu na kraju i uzima mjesto odgovoru, pa sesija koja je krenula brzo zna da uspori i poskupi, a da se ništa novo nije desilo.
Veće nije samo po sebi bolje. Kod vrlo dugačkog ulaza pamćenje sredine slabi, a svaki token u prozoru se plaća u svakom potezu. Bolje je modelu dati tačno ono što zadatak traži nego sve što imaš.
Kad se prozor napuni, izbor je da se stari dio sažme, da se počne iznova, ili da se građa izmjesti iz upita iza alata koji je dohvata po potrebi.