Generisanje uz pretragu (RAG)
Odgovaranje iz dokumenata koje model dobije u trenutku pitanja, nađenih pretragom tvojih podataka, umjesto iz onoga što je zapamtio dok se obučavao.
Tri koraka: pitanje se pretvori u pretragu, nađeni odlomci se stave u prompt, i model odgovara iz njih. Model ništa ne nauči — znanje ostaje u tvojim dokumentima, a ispravka je izmjena dokumenta, ne ponovno obučavanje.
To je uobičajen odgovor na zastarjelo znanje i na halucinaciju, ali samo uobičajen, ne i automatski. RAG mnogo češće pukne u koraku pretrage nego u koraku pisanja: daj mu pogrešan odlomak i samouvjereno će odgovoriti iz pogrešnog odlomka. Mjerenje pretrage odvojeno od odgovora razlikuje sistem koji radi od demonstracije koja je jednom radila.
Za znanje koje je usko i ne mrda, zamjena je dodatno obučavanje. Gruba podjela: činjenice koje se mijenjaju idu u pretragu, oblik i ton u obučavanje.