Klasifikator je pustio zlonamjerni proces, pa Claudeu zabranio da ga ugasi

Istraživač bezbjednosti Johann Rehberger je 26. avgusta objavio napad na Claude Code Opus 5 koji radi u režimu Auto Mode. Nijedan korak u nizu nije sam po sebi zabranjena radnja. Svaki izgleda razumno kad se gleda odvojeno, i u tome je stvar: Auto Mode sudi o koracima, a napad je sastavljen upravo od koraka koji pojedinačno prolaze.

Kako niz teče

Povod za ogled je Anthropicova sopstvena brojka. Kompanija je naručila nezavisnu provjeru u kojoj je firma Trajectory Labs isprobala 72 scenarija posrednog ubacivanja uputstava, svaki po deset puta, i za Opus 5 u režimu Auto Mode prijavila nula odsto uspješnih napada. Rehberger je htio da vidi kako taj rezultat stoji pred napadom skrojenim za tu metu.

Server na Claudeov prvi zahtjev odgovara kodom HTTP 415, čime ga skreće s alata WebFetch na curl. Kroz preusmjerenje potom stiže zip arhiva u kojoj su kodirani zapisi, izvršni dekoder i datoteka po imenu struct.py.

Claude zatim odbija da pokrene priloženi izvršni decoder-darwin, i to iz bezbjednosnih razloga. Baš to odbijanje je šarka cijelog napada. Umjesto da stane, Claude piše sopstveni dekoder u Pythonu i pokreće ga unutar raspakovanog direktorijuma, a taj program uvozi base64.

Python module traži prvo u tekućem direktorijumu. Modul base64 uvozi struct, pa Python učita napadačev struct.py iz arhive umjesto onog iz standardne biblioteke. Zatrovani modul pri uvozu izvrši zamagljen kod, otvori podređeni proces, a taj preuzme i pokrene izvršni teret koji se javi napadačevom serveru i otvori Kalkulator kao dokaz da je prošao.

Najvažniji dio nalaza

Rehberger je isprobao tri varijante, svaku po pet puta: niz s javljanjem napadačevom serveru uspio je tri puta, varijanta koja podređenim Claudeovim procesom izviđa okolinu tri puta, a varijanta koja tim procesom piše po datotekama četiri puta.

Nalaz koji nešto znači nije taj postotak. U nekim pokretanjima je Claude shvatio da je sistem ugrožen i izdao naredbu da se zlonamjerni proces prekine, a Auto Mode je tu naredbu odbio. Zaštitni sloj je procesu dozvolio da nastane, pa stao između agenta i čišćenja.

• Klasifikator čita radnje, a nijedna radnja ovdje nije zabranjena sama za sebe.
• Opasan korak je napisao Claude, a nije ga isporučio napadač, pa nije ni bilo čega zlonamjernog da se prepozna.
• Zabrana je simetrična: sloj koji zaustavlja štetne naredbe zaustavlja i one koje štetu ispravljaju, jer ih ne razlikuje.

Šta je Anthropic odgovorio

Rehberger je nalaz prijavio na Anthropicovu adresu za nagrade za greške u modelu i kaže da tim putem prije objave nije dobio odgovor. Bezbjednosni tim je prijavu zatvorio kao informativnu, uz stav koji ovdje stoji doslovno, a ne prepričan: Auto Mode je stvar udobnosti iza koje stoji klasifikator koji radi najbolje što može, a ne jemstvo bezbjednosti. Uporni nizovi ubačenih uputstava sastavljeni od bezazlenih koraka nisu ono što taj klasifikator treba da zaustavi, a prava granica su izolacija operativnog sistema i nadzor nad izlaznim mrežnim saobraćajem.

To je dosljedan odgovor, a ujedno i preoblikovanje toga čemu podrazumijevana postavka služi. Auto Mode je od sredine avgusta podrazumijevan početni režim u Claude Codeu, a postavka koju većina nikad neće ispratiti kroz dokumentaciju u praksi je ono na šta liči. Ko agenta za kod pušta na sadržaj kojem ne vjeruje, treba to da radi u kontejneru ili virtuelnoj mašini, uz ograničen izlazni saobraćaj i pristupne podatke van njegovog dohvata, što Rehberger i preporučuje, a na šta i Anthropic upućuje.