Współzałożyciel Anthropic Jack Clark mówi, że wkrótce agentowe systemy AI mogą same tworzyć i trenować modele, a wtedy ludzie mogą stracić kontrolę nad sztuczną inteligencją.
Współzałożyciel Anthropic, Jack Clark, apeluje, by branża sztucznej inteligencji w końcu przyhamowała, zanim technologia zacznie dalej rozwijać się sama, bez udziału człowieka.
W rozmowie z BBC Clark powiedział, że 80 proc. prac programistycznych w Anthropic wykonuje już system AI Claude, a w ciągu kilku lat odsetek ten może sięgnąć 100 proc. Zastrzegł jednak, że „to kwestia wyboru”, czy firmy pozwolą, by doszło do tego etapu, nie zatrzymując tego procesu.
„Uważamy, że to temat, o którym świat powinien więcej rozmawiać” – stwierdził Clark. „Branża AI ma dziś pedał gazu, ale w tym samochodzie nie ma pedału hamulca, a my chcemy wykonać część pracy, by taki hamulec zbudować”.
Ten proces Anthropic nazywa „rekurencyjnym samodoskonaleniem” – to sytuacja, w której system AI potrafi ulepszać się samodzielnie, bez udziału człowieka – wyjaśnia firma w czwartkowym wpisie na blogu (źródło w Angielski).
W modelu rekurencyjnym agenci AI, czyli autonomiczne programy tworzone przez chatbota, mogą „stać się na tyle zaawansowani, by samodzielnie budować i trenować kolejne modele”, tak że Claude „mógłby być nieustannie ulepszany przez Claude’a” – tłumaczy Anthropic.
Choć rekurencyjna sztuczna inteligencja mogłaby przynieść korzyści w nauce i ochronie zdrowia, Anthropic ostrzega, że może to oznaczać wzrost „ryzyka utraty przez ludzi kontroli nad systemami AI”.
„Jeśli systemy są w stanie w pełni budować własnych następców, sposób, w jaki je zabezpieczamy, monitorujemy i kształtujemy ich zachowanie, staje się znacznie ważniejszy” – czytamy we wpisie.
Dowody na zbliżającą się rekurencję Anthropic widzi we własnym modelu. Firma podkreśla, że od roku odsetek poprawek kodu wprowadzanych przez jej pracowników systematycznie spada, co oznacza mniej błędów w kodzie generowanym przez Claude’a.
Claude potrafi też samodzielnie prowadzić eksperymenty badawcze, gdy dostanie otwarte pytanie, na przykład: „Czy słabszy model może nadzorować silniejszy?” – i znajdować własne rozwiązania bez udziału człowieka.
„Dowody sugerują, że rola człowieka w każdym kolejnym etapie procesu tworzenia AI się zawęża” – podsumowuje wpis.
Anthropic zapowiada, że jej instytut badawczy będzie prowadzić prace nad systemem sprawdzającym, czy twórcy faktycznie zatrzymali lub spowolnili marsz w stronę rekurencyjnej AI.
Jednak prawdziwe spowolnienie wymagałoby, by „wiele dobrze finansowanych laboratoriów działających na granicy możliwości technologii, w kilku krajach, zgodziło się zatrzymać prace na tych samych warunkach”.