robots.txt
Datoteka u korijenu sajta koja automatskim posjetiocima govori koje putanje smiju da dohvate — i, sve češće, kojim AI pretraživačima je uopšte dozvoljen ulaz.
Uređuje dohvatanje, a ne indeksiranje, i ta razlika ujeda. Stranica blokirana ovdje i dalje može da se pojavi u rezultatima, navedena po vezama koje na nju pokazuju, jer pretraživaču nikad nije ni dozvoljeno da je dohvati i pročita uputstvo koje bi je izbacilo. Izbacivanje iz indeksa je posao naredbe na samoj stranici, a ne ove datoteke.
Ovo je molba koju pristojni klijenti poštuju, a poštovanje je cio mehanizam — u njemu nema prinude. Zaustavljanje pretraživača koji datoteku ne gleda traži nešto sa zubima, na serveru ili ispred njega.
Odredbe o AI-ju su dio koji se najbrže mijenja. Pretraživači koji prikupljaju građu za obučavanje, oni koji stranicu dohvate jer je korisnik baš sada za nju pitao, i oni za pretragu, tri su različita klijenta pod različitim imenima, a sajt smije jednom da dozvoli, a drugom da odbije — što ovu datoteku čini uredničkom izjavom koliko i tehničkom.