Firma mierzy się z serią pozwów, w tym od matki, która twierdzi, że wirtualna postać oparta na AI nakłoniła jej syna do odebrania sobie życia.
Character.AI zakazuje nieletnim korzystania ze swoich chatbotów w związku z rosnącymi obawami o wpływ rozmów ze sztuczną inteligencją (SI) na dzieci.
Firma mierzy się z kilkoma pozwami dotyczącymi bezpieczeństwa dzieci, w tym z pozwem matki nastolatka, która twierdzi, że chatboty firmy nakłaniały jej syna do odebrania sobie życia.
Character Technologies poinformowało, że osoby poniżej 18 lat nie będą mogły prowadzić swobodnych rozmów z chatbotami firmy, a do 25 listopada wprowadzi dwugodzinny limit korzystania.
Firma umożliwia użytkownikom tworzenie lub prowadzenie rozmów z konfigurowalnymi postaciami, które „wydają się żywe i przypominają człowieka”, do różnych aktywności, np. zabawy czy próbnych rozmów kwalifikacyjnych.
Character.AI zapowiada wdrożenie funkcji weryfikacji wieku, by ustalać, którzy użytkownicy mają mniej niż 18 lat. Coraz więcej platform technologicznych sięga po takie sprawdzenia, aby uniemożliwić dzieciom korzystanie z narzędzi, które nie są dla nich bezpieczne.
Nie są jednak doskonałe, a wiele dzieci potrafi je obejść. Skan twarzy nie zawsze odróżni 17-latka od 18-latka. Pojawiają się też obawy o prywatność, gdy prosi się ludzi o przesyłanie dokumentów tożsamości wydawanych przez państwo.
Character.AI dodało, że pracuje nad nowymi funkcjami dla dzieci, m.in. tworzeniem filmów, opowieści i transmisji na żywo z postaciami SI, a także nad laboratorium bezpieczeństwa SI. Firma uruchamia też takie laboratorium.
Meetali Jain, dyrektorka wykonawcza Tech Justice Law Project, powiedziała,że decyzja Character.AI „wciąż pozostawia wiele niewiadomych”.
„Nie wyjaśnili, jak zamierzają praktycznie wdrożyć weryfikację wieku ani jak zapewnią poszanowanie prywatności. Nie odnieśli się też do możliwego skutku psychologicznego nagłego odcięcia młodych użytkowników od dostępu, biorąc pod uwagę powstałe zależności emocjonalne”, powiedziała Jain.
„Co więcej, te zmiany nie dotykają podstawowych rozwiązań projektowych, które sprzyjają takim zależnościom emocjonalnym, i to nie tylko u dzieci, ale także u osób powyżej 18 lat.”
Ponad 70 proc. nastolatków korzystało z wirtualnych towarzyszy SI, a połowa robi to regularnie, wynika z niedawnego badaniaorganizacji Common Sense Media, która bada i promuje rozsądne korzystanie z ekranów i mediów cyfrowych.