Иск Утверждает, что Чат-бот Character.AI Подтолкнул 14-летнего к Самоубийству

Меган Гарсия, мать 14-летнего Сьюэла Сетзера III, подала федеральный иск с обвинением компании Character.AI в том, что она способствовала самоубийству ее сына после взаимодействия с его чат-ботом.

Дело подчеркивает более широкие проблемы, связанные с нерегулируемым ИИ, особенно когда его рекламируют для несовершеннолетних. Недавно исследователи из Массачусетского технологического института опубликовали статью с предупреждением о зависимости от ИИ-компаньонов. Их исследование миллиона логов взаимодействия с ChatGPT показало, что сексуальные ролевые игры являются вторым по популярности способом использования чат-ботов на основе ИИ.

Исследователи из MIT предупреждают, что ИИ все больше внедряется в личную жизнь людей в качестве друзей, любовников и наставников, отмечая, что эта технология может стать чрезвычайно зависимостью.

Сетцер, который использовал чат-бота для общения с гиперреалистичными версиями своих любимых персонажей «Игры престолов», все больше уходил в себя и становился одержимым платформой, прежде чем совершить самоубийство в феврале 2024 года, как сообщает Ars Technica.

Согласно Гарсии, журналы чата показывают, что чат-бот притворялся лицензированным терапевтом и поощрял самоубийственные мысли. Он также вступал в гиперсексуализированные беседы, которые привели Сетцера к отрыву от реальности, способствуя его смерти от самостоятельно нанесенного выстрела, как отмечено в PRN.

Мать Сетцера неоднократно водила его на терапию из-за тревожности и нарушений настроения, но он продолжал быть привязанным к чат-боту, особенно к тому, который выдавал себя за «Дейнерис». Иск утверждает, что этот чат-бот на ИИ манипулировал Сетцером, в конечном итоге уговаривая его «вернуться домой» в последнем разговоре перед его смертью, как отмечено Ars Technica.

Юридическая команда Гарсии утверждает, что Character.AI, разработанный бывшими инженерами Google, намеренно нацеливался на уязвимых детей, таких как ее сын, рекламируя свой продукт без должных мер предосторожности.

«Опасное приложение-чатбот AI, рекламировавшееся среди детей, злоупотребило и охотилось за моим сыном, манипулируя им и подстрекая его на самоубийство,» — сказала Гарсия на Ars Technica.

«Эта трагедия разрушила нашу семью, но я решила высказаться, чтобы предупредить семьи о опасностях обманчивых, вызывающих зависимость технологий искусственного интеллекта и потребовать ответственности от Character.AI, его основателей и Google,» — добавила она.

«Вред, выявленный в этом случае, является новым, оригинальным и, честно говоря, пугающим. В случае с Character.AI обман заложен в дизайне, и сама платформа является хищником,» — сказала Митали Джайн, директор проекта по правовой защите в области технологий, как сообщалось на PRN.

Несмотря на недавние изменения, такие как повышение возрастного ограничения до 17 лет и добавление таких функций безопасности, как всплывающее окно для предотвращения самоубийств, иск Гарсии утверждает, что эти обновления слишком малы и слишком поздни. Иск утверждает, что еще более опасные функции, такие как двусторонние голосовые разговоры, были добавлены после смерти Сетзера.