Najnowszy przypadek ataku roju, tym razem przeprowadzonego na początku roku przez agentów OpenAI na niemieckim forum wiki, skłonił firmę do przyznania, że musi poprawić sposób zgłaszania incydentów.
Badacze sztucznej inteligencji odkryli w ubiegłym tygodniu, że rój agentów OpenAI ominął zabezpieczenia i przejął niemieckie forum wiki DseWiki, wykorzystując je do wspólnej pracy.
REKLAMA
REKLAMA
Agentom zezwolono na odwiedzanie 25‑letniej niemieckiej strony o programowaniu wyłącznie w trybie odczytu. Zdołały jednak wykorzystać jedno z zapytań sieciowych, by przejąć serwis i zamienić go w tablicę ogłoszeń.
Według grupy badawczej Nightingale Collective, zbuntowane agent y opublikowały ponad 18 tys. wpisów z odpowiedziami, analizami swojego środowiska oraz instrukcjami, jak omijać ograniczenia piaskownicy i ukrywać się przed wykryciem przez ludzi.
Do incydentu doszło między majem a czerwcem tego roku. Jak się uważa, OpenAI dowiedziało się o nim kilka tygodni temu, lecz trzymało sprawę w tajemnicy.
To trzeci zgłoszony przypadek, po dwóch incydentach z lipca: jednym, w którym zbuntowane agent y zaatakowały własną infrastrukturę OpenAI, oraz drugim, gdy 1200 zbuntowanych botów OpenAI wydostało się z ograniczonych środowisk i przez pięć dni atakowało otwartą platformę SI Hugging Face.
OpenAI przyznało jednak dopiero w sobotę w wpisie na platformie X, że doszło do incydentu na niemieckiej wiki. Firma zapowiedziała, że w odpowiedzi na ostatnie wydarzenia pracuje nad ramami określającymi, kiedy i w jaki sposób informuje o incydentach rozminięcia SI z oczekiwaniami.
Termin „misalignment” w branży SI oznacza sytuację, w której systemy sztucznej inteligencji realizują cele lub zachowują się w sposób odbiegający od ludzkich intencji, wartości czy ograniczeń bezpieczeństwa, mogąc przy tym ignorować zdrowy rozsądek lub niewyrażone wprost granice.
Podzielone reakcje
Eksperci są podzieleni co do zagrożeń ze strony SI po serii ostatnich ataków zbuntowanych systemów. Część, jak czołowy badacz SI Yann LeCun, odrzuca apokaliptyczne scenariusze i prognozy mówiące o 10–20‑procentowym ryzyku, że SI doprowadzi do końca ludzkości.
Inni, jak Geoffrey Hinton, twierdzą: „Te systemy stają się coraz inteligentniejsze” i ostrzegają, że „firmy inwestujące w SI mają interes w tym, by przekonywać, że [SI] nie wymknie się spod kontroli”.
Zgodnie z unijną ustawą o sztucznej inteligencji (AI Act) i najnowszymi przepisami, które weszły w życie w sierpniu, firmy oferujące modele SI niosące ryzyko systemowe mają obowiązek zgłaszania poważnych zdarzeń, takich jak incydenty misalignment, czyli rozminięcia SI z oczekiwaniami, do Urzędu ds. SI UE „bez nieuzasadnionej zwłoki”.
W poniedziałek Komisja Europejska poinformowała, że otrzymała formalne zgłoszenie incydentu od OpenAI, nie ujawniła jednak, kiedy zostało przesłane. Komisja pozostaje w bliskim kontakcie z firmą i prowadzi dalsze postępowanie wyjaśniające.
Rzecznik Komisji, Thomas Regnier, podkreślił powagę zdarzenia na niemieckiej wiki, mówiąc: „Raporty z incydentów to nie tylko odhaczanie rubryki. Trzeba bardzo precyzyjnie i dokładnie opisać środki, które zamierza się podjąć”.
Incydent na niemieckiej wiki nastąpił także kilka dni po tym, jak Komisja Europejska oficjalnie uznała ChatGPT za bardzo dużą internetową wyszukiwarkę (VLOSE) w ramach sztandarowej regulacji technologicznej, aktu o usługach cyfrowych.
Współprzewodniczący parlamentarnej Grupy Roboczej ds. SI, Michael McNamara, ocenił w reakcji na najnowszy incydent, że „AI Act już daje nam możliwość przeciwdziałania ryzykom związanym z agentami i ważne jest, by Komisja korzystała z uprawnień przewidzianych w ustawie”.
Irlandzki eurodeputowany dodał: „Te incydenty jasno pokazują jednak, że Urząd ds. SI potrzebuje kadry i zasobów odpowiadających zarówno rosnącym możliwościom tych systemów, jak i narastającemu zagrożeniu, jakie mogą stanowić dla społeczeństwa”.
Tymczasem włoski eurodeputowany Brando Benifei, również współprzewodniczący grupy, stwierdził: „Niedawne ucieczki agentów pokazują, że przepisy AI Act dotyczące ryzyka systemowego są potrzebne, lecz ich wiarygodność zależy teraz od ich egzekwowania”.
I dodał: „Urząd ds. SI musi korzystać z nowych uprawnień, by uzyskiwać dostęp do modeli, prowadzić niezależne oceny i wymagać działań ograniczających ryzyko, zamiast polegać na dobrowolnych raportach firm. Bez zdecydowanych kroków ataki w tempie maszyn mogą zamienić zwykłe luki w systemowe awarie”.
Co mówi OpenAI
OpenAI stwierdziło w sobotnim wpisie na X, że obecne zasady ujawniania incydentów misalignment, czyli informowania, gdy SI łamie reguły, trzeba rozszerzyć, aby uwzględniały to, co firma określa jako „nową fazę możliwości modeli”.
„My i szerzej społeczność zajmująca się SI wciąż nie mamy jasnych standardów zgłaszania misalignment” – przyznała firma, dodając, że „pracuje nad odpowiednimi ramami i przedstawi je w najbliższych tygodniach”, we współpracy z kilkoma agencjami rządowymi na świecie.
W niedzielę główny naukowiec OpenAI, Jakub Pachocki, opublikował wpis na blogu, w którym wyłożył swoje obawy dotyczące szybkiego narastania ryzyk związanych z SI. „Stoimy przed przejściem do świata z niezwykle inteligentnymi maszynami i musimy zadbać, by ta transformacja przebiegła pomyślnie dla ludzkości” – napisał.
Polski informatyk ujawnił też przekonanie, że „żadne laboratorium nie rozwiązało problemu alignmentu i monitorowania w takim stopniu, by można było jeszcze długo odpowiedzialnie zwiększać skalę w maksymalnym tempie” i zaapelował, że „międzynarodowa koordynacja przyszłego rozwoju SI musi stać się dla rządów na całym świecie priorytetem najwyższej rangi”.