OpenAI, Google i Microsoft uvode zajednički signal za zabranu AI obuke nad sadržajem sajtova

OpenAI, Google i Microsoft objavili su 30. oktobra 2026. da će poštovati zajednički signal u datoteci robots.txt, kojom sajt automatima za prikupljanje sadržaja (crawlerima) saopštava šta smiju da preuzmu. Signal omogućava da sajt jednom izrazi da ne želi da se njegov sadržaj koristi za obuku generativnih modela, umjesto da piše posebna pravila za automat svake kompanije.

Kako signal funkcioniše

Mehanizam opisuje internet-nacrt koji je Kevin Keli iz Anthropica predao 30. oktobra 2026. Nacrt ne uvodi nijednu novu direktivu. Sajt u robots.txt piše običnu grupu pravila pod imenom __usage_ai-training, takozvanim tokenom politike, a poznatim redovima Disallow i Allow označava gdje odbija obuku i gdje je dozvoljava.

Primjer iz samog nacrta odbija obuku za cio sajt osim jednog direktorijuma: User-Agent: __usage_ai-training, pa Disallow: /, pa Allow: /press-kit/. Putanje se porede kao u RFC 9309, standardu za robots.txt, pa prednost ima najduže pravilo koje se poklapa.

Tri pojedinosti mijenjaju način na koji se postojeće datoteke čitaju. Grupa sa zamjenskim znakom, User-Agent: *, ne smije se tumačiti kao da obuhvata token, pa opšta zabrana za sve automate ne važi kao stav o obuci. Datoteka bez tokena ne izražava nikakav stav. Token, osim toga, uređuje upotrebu sadržaja, a ne obilazak, pa ono što automat smije da preuzme i dalje određuju njegova sopstvena pravila.

Obuka ovdje ima usko značenje: upotreba sadržaja za promjenu naučenih parametara generativnog modela. Definicija potiče od radne grupe IETF-a pod nazivom AI Preferences i ne obuhvata modele koji služe isključivo za zadatke poput klasifikacije, rangiranja ili ocjenjivanja.

Šta je koja kompanija obećala

OpenAI planira da uvede podršku za zajednički signal u narednim mjesecima, kada će objaviti i više detalja. Postojeća pravila za njegove automatizovane alate u datoteci robots.txt ostaju na snazi.

Google namjerava da podrži ovaj mehanizam tokom 2027. godine, zajedno s drugim AI kompanijama. Ako sajt zabrani obuku putem zajedničkog signala, a pritom ne navede Google-Extended, Google će to tumačiti kao zabranu korišćenja tog alata za obuku. Pravila definisana posebno za Google-Extended nastaviće da važe uporedo sa zajedničkim signalom.

Microsoft je predstavio najdetaljniji plan. Bing će od 1. februara 2027. poštovati zajednički signal o obuci prilikom obilaska sajtova. Microsoft uvodi i dvije dodatne kontrole: postavku za obuku na nivou pojedinačne stranice, koja ima prednost nad pravilima u robots.txt, i zasebnu postavku za grounding, odnosno korišćenje sadržaja stranice kao osnove za odgovore koje generiše AI. Kompanija naglašava da ove postavke ne utiču na mogućnost pojavljivanja sajta u standardnim rezultatima pretrage na Bingu.

Nacrt za sada nema formalni status. IETF Datatracker ga vodi kao pojedinačni nacrt koji organizacija nije zvanično podržala. Trenutna verzija nacrta ističe 3. maja 2027. godine.

Rokovi za sajtove koji koriste NoArchive ili NoCache

Microsoft povlači kontrole koje je za ovu namjenu uveo 2023. godine. Nove postavke zamjenjuju NoArchive i NoCache za obuku i grounding. Posle 1. marta 2027. Bing te oznake više neće čitati kao stav o obuci, pa sajt koji se na njih oslanja mora do tada da objavi novu postavku, u robots.txt ili na pojedinačnim stranicama.

Za pojedinačnu stranicu Microsoft prihvata meta-oznaku ili HTTP zaglavlje, na primjer <meta name="Bingbot" content="ai-training:disallow"> ili X-Robots-Tag: Bingbot: ai-training:disallow. Grounding se podešava samo stranicu po stranicu. Sajt koji želi i dalje da odbija grounding mora prije 1. marta 2027. da objavi postavku na stranicama i da upiše privremenu postavku u Bing Webmaster Tools.

Microsoft upozorava da odbijanje groundinga, opcijom Disallow ili užom opcijom DisallowExtended, znatno smanjuje vidljivost sajta u odgovorima koje generiše AI.