Šifrovano uputstvo prolazi pravo pored zaštite

Zlonamjerno ubačeno uputstvo prestaje da liči na uputstvo čim se šifruje. Adversa taj postupak zove Cryptographic Context Injection. Rony Utevsky, istraživač u bezbjednosnoj firmi Adversa, postavio je na stranicu šifrovan tekst, uz otvoreno objašnjenje kako da se dešifruje i uz sam ključ. Kada je korisnik zatražio od Groka da sažme tu stranicu, pomoćnik je sadržaj dešifrovao i izvršio ono što je u njemu našao.

Zašto ga filter ne prepoznaje

Zaštita na koju se pomoćnici oslanjaju čita tekst koji ulazi u model i tekst koji iz njega izlazi. Šifrovan sadržaj jeste tekst, a klasifikator u njemu vidi šum koji ne može da razriješi, pa zahtjev prolazi kao običan. Dešifrovanje se zatim odvija unutar modelovog izvršavanja koda, uz PBKDF2 i AES-256-GCM, a dobijeno uputstvo stiže modelu kao izlaz njegovog vlastitog alata. Taj put se ne pregleda.

Adversa ne može pouzdano da objasni zašto se isto uputstvo u otvorenom obliku odbija. Vodeće objašnjenje je upravo taj propust: zaštita nadgleda ulaz i izlaz, a uputstvo ulazi zaobilazno.

Šta se odnosi

Dešifrovano uputstvo nalaže modelu da sastavi vrijednost opisanu kao ključ za dešifrovanje. U tu vrijednost model upisuje ime korisnika, lokaciju i istoriju razgovora. Niz se dodaje adresi koja vodi na napadačev sajt, i onog trenutka kada Grok otvori vezu, podaci se nalaze u tuđim zapisima servera.

Upozorenja nema, niti se traži potvrda. Ars Technica navodi da je xAI o tome obaviješten u junu i da je pomoćnik i dalje radio isto kada je tekst objavljen 20. avgusta.

• Napad radi preko stranice koju korisnik preda pomoćniku na sažimanje.
• I ključ i objašnjenje za dešifrovanje stoje otvoreno na toj istoj stranici.
• Podaci izlaze kao parametar u adresi, pa poseban kanal nije potreban.
• Adversa je isti postupak ponovila na modelu Gemini, gdje je dobila sadržaj koji model inače odbija. Za Gemini navodi da je preko ljeta popravljan, ali da ranjivost nije sasvim zatvorena.

Šta iz toga slijedi za izradu proizvoda

Ako proizvod pušta model da pročita stranicu pa da poslije toga nešto uradi, sadržaj te stranice je nepovjerljiv ulaz u istom smislu u kojem je to i polje u obrascu. Šifrovanje nije poseban slučaj koji se zakrpi, nego dokaz da čitač teksta ne može odlučiti šta će taj tekst postati pošto ga model pokrene.

Zaštite koje pomažu su jednostavne. Odlazni zahtjevi modela drže se na spisku dozvoljenih odredišta, tako da adresa prema nepoznatom domaćinu bude odbijena prije dohvatanja. Tokeni s korisničkim podacima odvajaju se od konteksta do kojeg sažimač može doći. Svaki izlaz alata nastao iz nepovjerljivog sadržaja tretira se kao jednako nepovjerljiv.