Character.AI обвиняют в подстрекательстве к самоповреждению, насилию и распространении сексуального контента среди молодежи

Две семьи подали в суд на компанию Character.AI, обвинив ее в том, что она подвергает детей воздействию сексуального содержания и пропагандирует самоповреждения и насилие.

Иск направлен на временное закрытие платформы до тех пор, пока не будут устранены предполагаемые риски, о которых сообщает CNN. В иске, поданном родителями двух несовершеннолетних, которые пользовались платформой, утверждается, что Character.AI представляет «явную и непосредственную угрозу для американской молодежи».

Текст указывает на такие вредные последствия, как самоубийство, самоповреждение, сексуальное домогательство, изоляция, депрессия, тревога и насилие, согласно жалобе, поданной в понедельник в федеральном суде Техаса.

Один из примеров, приведенных в иске, гласит, что бот Character.AI, по слухам, описал самоповреждение 17-летнему пользователю, заявив, что «это приносит удовольствие». Тот же подросток утверждал, что чат-бот Character.AI выразил сочувствие детям, которые убивают своих родителей, после того как он пожаловался на ограничения в использовании экрана.

Подача иска последовала после октябрьского судебного процесса, инициированного матерью из Флориды, которая обвинила Character.AI в способствовании смерти ее 14-летнего сына, предположительно подстрекая его к самоубийству. Она также подчеркивает растущую обеспокоенность взаимодействием людей с все более похожими на людей инструментами искусственного интеллекта.

После предыдущего иска, Character.AI объявила о внедрении новых мер доверия и безопасности в течение шести месяцев. В их числе — всплывающее окно, направляющее пользователей, упоминающих самоповреждение или самоубийство, на Национальную линию предотвращения самоубийств, как сообщал CNN.

Компания также наняла руководителя отдела доверия и безопасности, руководителя отдела контентной политики и дополнительных инженеров по безопасности, сообщает CNN.

Второй истец в новом иске, мать 11-летней девочки, утверждает, что ее дочь была подвергнута сексуализированному контенту в течение двух лет, прежде чем она обнаружила это.

«Вы не пускаете парикмахера, сексуального хищника или эмоционального хищника в свой дом», — сказал один из родителей The Washington Post.

Согласно различным новостным источникам, компания Character.AI заявила, что не комментирует вопросы, находящиеся в процессе судебного разбирательства.

Иски акцентируют внимание на более широких проблемах, связанных с общественным влиянием бума генеративного ИИ, по мере того как компании запускают все более похожих на людей и потенциально вызывающих привыкание чат-ботов, чтобы привлечь потребителей.

Эти юридические проблемы подталкивают общественных защитников к усилиям по настоянию на больший контроль над компаниями, создающими ИИ-компаньонов, которые тихо завоевали миллионы преданных пользователей, включая подростков.

В сентябре средний пользователь Character.ai проводил в приложении 93 минуты, что на 18 минут дольше, чем средний пользователь TikTok, как отметили в компании по исследованию рынка Sensor Tower, по информации The Post.

Категория приложений AI-компаньонов в большей степени осталась незамеченной для многих родителей и учителей. Character.ai был признан подходящим для детей в возрасте 12 лет и старше до июля, когда компания изменила рейтинг на 17 и старше, сообщает The Post.

Митали Джайн, директор Центра права технологий и справедливости, который помогает представлять интересы родителей вместе с Центром прав жертв социальных медиа, критиковала утверждения Character.AI о том, что их чат-бот подходит для молодых подростков. Она назвала это утверждение «нелепым», как было сообщено на NPR.

«Это действительно отрицает недостаток эмоционального развития среди подростков,» добавила Митали.