Preskoči na sadržaj

Pojmovnik

Keširanje promptova

Ponovna upotreba već obrađenog početka promptova kroz više poziva, pa se nepromijenjeni dio naplaćuje po dijelu obične ulazne cijene.

Keš radi na početku: od prvog tokena do prve razlike. Stabilnu građu — sistemski prompt, prijave alata, dokument o kojem se stalno pita — stavi naprijed, a ono što se mijenja na kraj.

To jedno pravilo odlučuje o računu kod ponovljenog posla. Posao koji pri svakom pozivu premeće prompt svaki put plaća punu ulaznu cijenu; posao kojem je glava ista plati je jednom, pa onda djelić. Zato se i podaci koji zavise od računara isplati izmjestiti iz prompta: svuda su drugačiji i razbijaju zajednički početak.