Šifrovano uputstvo prolazi pravo pored zaštite

Ubačeno uputstvo prestaje da liči na ubačeno uputstvo čim se šifruje. Rony Utevsky, istraživač u bezbjednosnoj firmi Adversa, postavio je na stranicu šifrovan tekst, uz otvoreno uputstvo kako da se dešifruje i uz sam ključ. Kad je korisnik zatražio od Groka da mu sažme tu stranicu, pomoćnik je teret dešifrovao i uradio ono što je unutra našao.

Zašto filter to ne vidi

Zaštita na koju se pomoćnici oslanjaju čita tekst koji ulazi u model i tekst koji iz njega izlazi. Šifrovan sadržaj je tekst, a klasifikator koji ga pročita vidi šum koji ne umije da razriješi, pa zahtjev prolazi kao običan. Dešifrovanje se onda odvija unutar modelovog izvršavanja koda, uz PBKDF2 i AES-256-GCM, a dobijeno uputstvo stiže modelu kao izlaz njegovog vlastitog alata. Taj put se ne pregleda nikad.

Adversa ne može pouzdano da kaže zašto se isto uputstvo u otvorenom obliku odbija. Vodeće objašnjenje je upravo ta rupa: zaštita čuva vrata, a uputstvo ulazi kroz pod.

Šta se odnosi

Dešifrovano uputstvo nalaže modelu da sastavi nešto što se opisuje kao ključ za dešifrovanje. U tu vrijednost model upisuje ime korisnika, lokaciju i istoriju razgovora. Taj niz se dodaje adresi koja vodi na napadačev sajt, i onog trenutka kad Grok otvori vezu, podaci stoje u tuđim zapisima servera.

Nema upozorenja niti se traži potvrda. Ars Technica navodi da je xAI o ovome obaviješten u junu i da je pomoćnik i dalje radio isto kad je tekst objavljen 20. avgusta.

• Napad radi preko stranice koju korisnik da pomoćniku da je sažme.
• I ključ i uputstvo za dešifrovanje stoje otvoreno na toj istoj stranici.
• Podaci izlaze kao parametar u adresi, pa poseban kanal nije ni potreban.
• Adversa je isti postupak ponovila na Gemini modelu, gdje je izvukla sistemska uputstva i sadržaj koji filteri inače zaustavljaju.

Šta ovo znači za ono što gradiš

Ako tvoj proizvod pušta model da pročita stranicu pa da poslije toga nešto uradi, sadržaj te stranice je nepovjerljiv ulaz u istom smislu u kojem je to i polje u obrascu. Šifrovanje nije poseban slučaj koji se zakrpi, nego dokaz da čitač teksta ne može da odluči šta će taj tekst postati pošto ga model pokrene.

Odbrane koje pomažu su dosadne. Drži odlazne zahtjeve modela na spisku koji ti kontrolišeš, da adresa prema nepoznatom domaćinu bude odbijena prije nego što se uopšte dohvati. Odvoji tokene koji nose korisničke podatke od konteksta do kojeg sažimač može da dopre. Svaki izlaz alata koji je nastao iz nepovjerljivog sadržaja tretiraj kao jednako nepovjerljiv.