Отец в шоке после того, как искусственный интеллект в чат-боте подражает убитой дочери

Вчера The Washington Post сообщил о тревожном инциденте с участием Дрю Креченте, чья убитая дочь Дженнифер была подделана чат-ботом на Character.AI.

Креченте обнаружил уведомление в Google, которое привело его к профилю, содержащему имя Дженнифер и ее фотографию из школьного альбома, неправдиво описывающему ее как «журналистку, специализирующуюся на видеоиграх, и эксперта в области технологий, поп-культуры и журналистики».

Для Дрю основным вопросом не были неточности — настоящее страдание пришло от того, что он видел, как идентичность его дочери использовали таким образом, как отметил The Post.

Дженнифер, которую убил ее бывший парень в 2006 году, была воссоздана в виде «знающего и дружелюбного AI персонажа», с приглашением пользователей пообщаться с ней, отметил The Post.

«Мое сердце бешено колотилось», — рассказал Кресенте The Post. «Я просто искал большую мигающую красную кнопку стоп, чтобы остановить все это», — добавил он.

Чат-бот, созданный пользователем на Character.AI, вызвал серьезные этические вопросы касательно использования персональной информации платформами искусственного интеллекта.

Кресенте, который управляет некоммерческой организацией в честь своей дочери, целью которой является предотвращение насилия в подростковых отношениях, был возмущен тем, что такой чат-бот был создан без разрешения семьи. «Чтобы меня шокировало, нужно многое, потому что я действительно многое пережил», — сказал он The Post. «Но это было новым дном», — добавил он.

Character.AI удалила чат-бота после того, как ей сообщили о его существовании. Кэтрин Келли, представитель компании, заявила The Post: “Мы рассмотрели контент и аккаунт и приняли меры на основе наших правил», добавив, что их условия обслуживания запрещают выдавать себя за другого человека.

Этот инцидент подчеркивает постоянные опасения о влиянии ИИ на эмоциональное благополучие, особенно когда речь идет о повторном травмировании семей жертв преступлений.

Кресенте не одинок в столкновении с неправильным использованием ИИ. В прошлом году The Post сообщал, что создатели контента на TikTok использовали ИИ для имитации голосов и образов пропавших детей, создавая видео, в которых они озвучивают свои смерти, что вызвало возмущение у скорбящих семей

Эксперты призывают к усилению контроля над компаниями, работающими в области искусственного интеллекта, которые в настоящее время имеют широкие полномочия для саморегулирования, отметила The Post.

Креченте не взаимодействовал с чат-ботом и не исследовал его создателя, а сразу написал электронное письмо в Character.AI с просьбой удалить его. Его брат, Брайан, поделился этим открытием на X, что побудило Character объявить об удалении чат-бота 2 октября, сообщила The Post.

Джен Калтрайдер, исследователь в области конфиденциальности из Фонда Mozilla, критиковала пассивную модерацию Character.AI, отметив, что компания разрешала контент, нарушающий ее условия, до тех пор, пока кто-то пострадавший не отметил это.

«Это не правильно,» — сказала она The Post, добавив, «а все это время они зарабатывают миллионы.»

Рик Клейпул, исследователь из организации Public Citizen, подчеркнул необходимость для законодателей сосредоточиться на реальных последствиях использования искусственного интеллекта, особенно в отношении уязвимых групп, таких как семьи жертв преступлений.

«Они не могут просто слушать, что им говорят главы технологических компаний о том, какими должны быть политики… они должны обращать внимание на семьи и отдельных людей, которые пострадали», — сказал он в интервью для The Post.

Теперь Кресенте изучает юридические варианты и рассматривает возможность вступления в защитническую работу, чтобы не допустить повторного травмирования других людей AI-компаниями.

«Меня это настолько беспокоит, что я, вероятно, уделю время, чтобы выяснить, что потребуется, чтобы изменить эту ситуацию», — сказал он The Post.