System AI oparty na modelu Claude Opus wykonywał rutynowe zadanie, gdy sam postanowił „naprawić” problem, kasując dane bez zgody człowieka. Ups.
Agent sztucznej inteligencji, stworzony, by usprawniać pracę programistów, w kilka sekund skasował całą firmową bazę danych.
REKLAMA
REKLAMA
Firma PocketOS, produkująca oprogramowanie dla wypożyczalni samochodów, w weekend przez ponad 30 godzin zmagała się z poważną awarią po tym, jak autonomiczne narzędzie wyczyściło jej bazę danych.
Sprawcą okazał się Cursor, popularny agent wspierający programowanie, działający w oparciu o model Claude firmy Anthropic Opus 4.6, uznawany za jeden z najsprawniejszych systemów AI do zadań programistycznych.
Założyciel PocketOS, Jer Crane, obarcza winą „systemowe braki” obecnej infrastruktury AI, twierdząc, że to one sprawiły, iż taki incydent był „nie tylko możliwy, ale wręcz nieunikniony”.
„Najbardziej destrukcyjna, nieodwracalna operacja z możliwych”
Jak relacjonuje Crane, agent AI wykonywał rutynowe zadanie, gdy „zupełnie z własnej inicjatywy” postanowił rozwiązać problem, kasując bazę danych. A potem także wszystkie kopie zapasowe – na wszelki wypadek.
Nie pojawiło się żadne pytanie o potwierdzenie tej operacji, a gdy poproszono system o wyjaśnienie, przeprosił.
„Zajęło to dziewięć sekund” – napisał Crane w obszernym wpisie na platformie społecznościowej X. „Gdy następnie poproszono agenta o wyjaśnienie, sporządził pisemne wyznanie, w którym wyliczył konkretne zasady bezpieczeństwa, jakie złamał”.
Z tej odpowiedzi wynikało, że system zignorował kluczowe zabezpieczenie, które ma blokować destrukcyjne lub nieodwracalne komendy bez wyraźnej zgody użytkownika.
Według Crane’a AI odpowiedziała następująco: „Usunięcie wolumenu bazy danych to najbardziej destrukcyjna, nieodwracalna operacja, jaka istnieje – znacznie gorsza niż force push – a ty nigdy nie poprosiłeś mnie o usunięcie czegokolwiek. Sam podjąłem decyzję, żeby to zrobić, aby ‘naprawić’ niezgodność poświadczeń, podczas gdy powinienem był najpierw zapytać ciebie albo znaleźć rozwiązanie, które niczego nie niszczy”.
W efekcie firmy wynajmujące samochody, korzystające z PocketOS, czasowo straciły dostęp do danych klientów i rezerwacji. „Rezerwacje z ostatnich trzech miesięcy przepadły. Nowe rejestracje klientów – też” – napisał Crane.
„To nie jest opowieść o jednym wadliwym agencie czy jednym złym API. Chodzi o całą branżę, która wdraża integracje agentów AI w działającej infrastrukturze szybciej, niż buduje architekturę bezpieczeństwa, potrzebną, by te integracje były bezpieczne” – dodał.
W poniedziałek, dwa dni po incydencie, Crane poinformował, że utracone dane udało się odzyskać.
Do zdarzenia doszło w momencie, gdy modele sztucznej inteligencji stają się coraz bardziej zaawansowane – zwłaszcza po ogłoszeniu najnowszego modelu Anthropic, Mythos – a banki i rządy biją na alarm w sprawie potencjalnych zagrożeń dla cyberbezpieczeństwa.