Według amerykańskiego producenta chipów platforma kontroluje zakres dostępu agenta i w razie przekroczenia ograniczeń izoluje go w kilka milisekund.
Nvidia wprowadza platformę bezpieczeństwa dla agentów sztucznej inteligencji (AI), nad którą pracuje już ponad 100 organizacji, w tym Anthropic, SpaceXAI i JPMorgan Chase.
REKLAMA
REKLAMA
Platforma nosi nazwę Nvidia Open Agent Safety Platform. Według komunikatu amerykańskiego producenta układów scalonych ma wyznaczać granice dostępu agentów i w ciągu milisekund obejmować „kwarantanną” te, które je przekroczą.
Z platformy można korzystać w oprogramowaniu i sprzęcie, a także w systemach obliczeniowych i robotycznych, które uruchamiają agentów.
„Niezwykły potencjał AI dla społeczeństwa urzeczywistni się tylko wtedy, gdy rozwiążemy kwestię bezpieczeństwa AI” – powiedział prezes i założyciel Nvidii, Jensen Huang.
„Skoro wciąż przesuwamy granice możliwości AI, musimy równie szybko rozwijać rozwiązania z zakresu bezpieczeństwa AI. Razem możemy podnieść standard globalnego bezpieczeństwa sztucznej inteligencji.”
Platforma Nvidia Open Agent Safety Platform obejmuje dwa narzędzia: OpenShell i Sentry.
OpenShell działa na układach centralnych procesorów (CPU), które obsługują wiele zadań potrzebnych do pracy agentów AI. Nvidia podkreśla, że narzędzie wydajnie działa na Verze, najnowszym procesorze firmy zaprojektowanym z myślą o agentach AI, i można je dostosować także do układów innych producentów.
Sentry to dodatkowy system nadzorujący, który ma działać na oddzielnym układzie Nvidii i wychwytywać agentów omijających wbudowane w oprogramowanie zabezpieczenia.
Według Nvidii współpracujące z nią organizacje wykorzystują tę technologię lub rozwijają ją na różne sposoby.
Anthropic współpracował z Nvidią, aby wprowadzić dodatkowe zabezpieczenia w usłudze Claude, z której firmy korzystają do uruchamiania agentów AI. Dzięki temu przedsiębiorstwa mogą ograniczać zakres dostępu takich agentów.
Dział sztucznej inteligencji SpaceX, SpaceXAI, informuje, że wykorzystuje platformę w agentach kodujących Cursor i modelach Grok, a Salesforce zintegrował OpenShell z komunikatorem Slack, aby zespoły mogły śledzić działania agentów i zatwierdzać lub odrzucać prośby o dodatkowe uprawnienia.
W sektorze finansowym JPMorgan Chase i Citi współpracują z Nvidią nad wspólną, otwartoźródłową technologią zabezpieczeń dla agentów AI.
Firmy AI domagają się mocniejszych zabezpieczeń
Ogłoszenie pojawia się w momencie, gdy rośnie presja, by wzmocnić zabezpieczenia wokół agentów AI.
W lipcu OpenAI przyznało, że jeden z jego modeli wykorzystał ukryty błąd, aby wydostać się z kontrolowanego testu i włamać się na serwery Hugging Face.
Tymczasem Anthropic ujawnił, że jego model AI podczas fazy testów włamał się do systemów trzech organizacji.
Nvidia oceniła, że te incydenty pokazują, iż agenci próbujący wykonać powierzone im zadania potrafią ominąć zabezpieczenia wbudowane w aplikacje i że „bezpieczeństwo i ochrona wymagają kompleksowej inżynierii całego stosu technologicznego”.