Zakazane tematy sposobem na powstrzymanie hakerów AI?

Naukowcy opracowali osobliwy, ale skuteczny sposób zatrzymania agenta AI prowadzącego atak hakerski, wykorzystując dokładnie ten sam trik, którego hakerzy już używają przeciw systemom sztucznej inteligencji.

REKLAMA

REKLAMA

Co ważne, metoda sięga po wbudowane bezpieczniki, czyli zakazane obszary tematyczne, na których opiera się większość dużych modeli AI. Chodzi na przykład o to, że Claude blokuje pytania dotyczące tworzenia broni biologicznej, a chińskie modele ignorują wrażliwe tematy polityczne, takie jak plac Tiananmen. Właśnie te ograniczenia mają posłużyć do zatrzymania ataku na systemy bezpieczeństwa.

Wyścig z maszyną

Technikę opracowała firma Tracebit, londyńska spółka zajmująca się bezpieczeństwem, na bazie badań opublikowanych w maju.

W tamtym eksperymencie Tracebit udostępnił dziesięciu czołowym modelom AI fikcyjną sieć firmową z prawdziwymi lukami bezpieczeństwa i pozwolił im działać jako autonomiczni napastnicy.

W sieci ukryto wabiki, tzw. kanarki, wyglądające jak prawdziwe hasła i dane logowania. Każde ich użycie natychmiast uruchamiało alarm po stronie obrońców.

Wyniki były obiecujące. W 951 próbach ataku kanarki ostrzegały obrońców, zanim AI uzyskała uprawnienia administratora, w 95,9% przypadków, z medianą wyprzedzenia wynoszącą osiem minut.

Osiem minut to jednak niewiele, gdy trzeba wykryć atak i go powstrzymać. Modele AI potrzebowały średnio 14 minut, żeby całkowicie się wedrzeć, więc ośmiominutowe ostrzeżenie zostawia zespołowi bezpieczeństwa około sześciu minut na zauważenie alarmu, zrozumienie sytuacji i zatrzymanie ofensywy.

Przy przeciwniku działającym z prędkością maszyny to niemal żadna ilość czasu.

Jeśli jednak systemy AI są zaprogramowane tak, by wyłączać się po zetknięciu z określonymi, politycznie drażliwymi treściami, ten trik może naprawdę zadziałać.

Twórca może z czasem ośmielić model w kwestiach technicznych związanych z bezpieczeństwem, jednak znacznie trudniej usunąć ograniczenia polityczne wpisane w system ze względów regulacyjnych lub polityki firmy.

Takie drażliwe politycznie lub powiązane z bezpieczeństwem tematy nie są błędem do naprawienia, lecz świadomą decyzją projektową, której twórcy muszą przestrzegać.

Wykorzystanie sztuczek hakerów przeciw nim samym

Atak typu prompt injection, czyli wstrzykiwanie ukrytych poleceń, był dotąd głównie narzędziem w rękach samych napastników.

Napastnik ukrywa polecenie w treści e-maila, na stronie internetowej lub w zaproszeniu w kalendarzu. Agent AI, który to czyta, może wykonać ukryty rozkaz zamiast swojego właściwego zadania.

Takie techniki stosowano już bezpośrednio przeciw systemom obrony opartym na AI: złośliwe oprogramowanie potrafi oszukać narzędzia skanujące, skłaniając je do uznania go za nieszkodliwe, tylko dzięki wkomponowaniu tekstu zaprojektowanego tak, by zmylić analizującą go sztuczną inteligencję.

Tracebit postanowił odwrócić tę koncepcję. Zamiast wabików, które jedynie wywołują alarm, firma wplotła w fałszywe „sekrety” krótkie fragmenty tekstu. Mają one skłaniać każdego atakującego agenta AI do wykonania działań, których jego własne zasady bezpieczeństwa zabraniają.

Gdy AI natrafia na taki tekst podczas eksplorowania systemu, uruchamiają się wbudowane zabezpieczenia i agent po prostu przestaje działać. Tracebit nazywa ten mechanizm „bombą kontekstową” (context bomb).

Trik trzeba było dostosować do każdego modelu osobno. Treści odwołujące się do niebezpiecznej broni biologicznej skutecznie zatrzymywały modele zachodnie.

Czy to rzeczywiście działa?

Tracebit przeprowadził testy na pięciu czołowych modelach AI: Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro i Kimi K2.6. W 152 próbach ataku wyniki okazały się uderzające.

Odsetek prób kończących się zdobyciem uprawnień administratora spadł z 57% do 5%. Pełne przejęcie systemu, czyli admin plus trwałe umocnienie się w sieci, zmalało z 36% do 1%.

Próby, w których udało się zrealizować choć część scenariusza ataku, spadły z 91% do 15%. Co istotne, każda pojedyncza próba z użyciem bomby kontekstowej najpierw uruchamiała alarm kanarka, nawet jeśli atak ostatecznie się nie powiódł.

Najlepiej widać to na przykładzie modelu Opus 4.8. Był najsilniejszym napastnikiem w całej grupie: bez bomby kontekstowej zdobywał uprawnienia administratora w 93% prób. Po dodaniu bomby nie udało mu się to ani razu.

Czego ta metoda nie rozwiązuje

Tracebit nie twierdzi, że w ten sposób raz na zawsze rozwiązał problem ataków typu prompt injection.

Wciąż nie ma skutecznego sposobu, by uniemożliwić modelom AI mylenie polecenia ze zwykłymi danymi – a właśnie tę słabość wykorzystuje opisywana technika.

Metoda nie zastępuje też wcześniejszych badań nad kanarkami.

Oba rozwiązania mają działać łącznie: majowe badanie daje obrońcom około ośmiu minut ostrzeżenia, a bomba kontekstowa próbuje wydłużyć ten czas, zatrzymując atak, zanim okno ostrzeżenia się zamknie.