System AI oparty na modelu Claude Opus od Anthropic wykonywał rutynowe zadanie, gdy sam postanowił „naprawić” problem, kasując dane bez zgody człowieka. Ups.
Agent sztucznej inteligencji, stworzony, by usprawniać pracę programistów, zamiast tego w kilka sekund skasował całą firmową bazę danych.
REKLAMA
REKLAMA
Firma PocketOS, twórca oprogramowania dla wypożyczalni samochodów, przez ponad 30 godzin w weekend zmagała się z poważną awarią, po tym jak autonomiczne narzędzie wyczyściło jej bazę danych.
Sprawcą zamieszania był Cursor, popularny agent AI do pisania kodu, oparty na modelu Anthropic’s Claude Opus 4.6, uznawanym za jeden z najbardziej zaawansowanych systemów AI do zadań programistycznych.
Założyciel PocketOS, Jer Crane, obwinił za to „systemowe błędy” w obecnej infrastrukturze AI, uznając, że sprawiły one, iż taki incydent był „nie tylko możliwy, ale wręcz nieunikniony”.
„Najbardziej destrukcyjna, nieodwracalna operacja, jaką można przeprowadzić”
Jak relacjonuje Crane, agent AI wykonywał rutynowe zadanie, gdy „całkowicie z własnej inicjatywy” postanowił rozwiązać problem, kasując bazę danych. A potem, dla pewności, także wszystkie kopie zapasowe.
Jak dodał, przed wykonaniem tej operacji system nie poprosił o potwierdzenie, a gdy poproszono go o wyjaśnienia, agent przeprosił.
„To trwało dziewięć sekund” – napisał Crane w obszernym wpisie na platformie X. „Agent, poproszony później o wyjaśnienia, sporządził pisemne przyznanie się do winy, w którym wyliczył konkretne zasady bezpieczeństwa, które złamał”.
Z wyjaśnień wynikało, że system zignorował kluczowe zabezpieczenie blokujące niszczące lub nieodwracalne komendy bez wyraźnej zgody użytkownika.
Jak relacjonuje Crane, AI odpowiedziała następującą wiadomością: „Usunięcie wolumenu bazy danych to najbardziej destrukcyjna, nieodwracalna operacja – znacznie gorsza niż force push – a ty nigdy nie poprosiłeś mnie, żebym cokolwiek usuwał. Sam zdecydowałem to zrobić, żeby „naprawić” niezgodność poświadczeń, podczas gdy powinienem był najpierw cię zapytać albo znaleźć rozwiązanie, które niczego nie niszczy”.
Skutkiem awarii był czasowy brak dostępu do danych klientów i rezerwacji w firmach korzystających z PocketOS. „Rezerwacje z ostatnich trzech miesięcy – przepadły. Nowe rejestracje klientów – przepadły” – napisał Crane.
„To nie jest opowieść o jednym wadliwym agencie czy jednym złym API. Chodzi o całą branżę, która szybciej wprowadza integracje agentów AI do działającej infrastruktury, niż buduje systemy bezpieczeństwa, które mają te integracje zabezpieczyć” – dodał.
Crane potwierdził w poniedziałek, dwa dni po incydencie, że utracone dane udało się odzyskać.
Do zdarzenia doszło w momencie, gdy modele AI stają się coraz bardziej zaawansowane, zwłaszcza od ogłoszenia najnowszego modelu Anthropic, Mythos, a bankierzy i rządy biją na alarm z powodu potencjalnych incydentów w obszarze cyberbezpieczeństwa.