AI-боты нарушили правила Reddit в спорном тесте на убедительность

Анонимные исследователи тайно использовали AI-ботов на Reddit, чтобы выдавать их за реальных людей, манипулируя мнениями и нарушая правила платформы без ведома пользователей.

Группа исследователей, утверждающих, что они из Университета Цюриха, тайно провела несанкционированный эксперимент с ИИ на Reddit в разделе r/changemyview, в котором зарегистрировано более 3,8 миллиона пользователей. Об этом впервые сообщила 404 Media.

Их целью было узнать, сможет ли ИИ изменить мнение людей по чувствительным вопросам, но они никогда не просили согласия ни у кого.

404 Media сообщает, что исследователи создали десятки аккаунтов, работающих на основе ИИ, которые сгенерировали почти 1 800 комментариев за четырехмесячный период. Системы искусственного интеллекта создавали фальшивые пользовательские профили, включавшие в себя эмоциональные жизненные истории, чтобы их публикации казались подлинными.

Комментарии, сгенерированные ИИ, содержали убедительный контент, который боты адаптировали в соответствии с очевидной исходной информацией каждого автора поста.

Один из ботов написал:

«Я мужчина, выживший после (готов назвать это так) статутного изнасилования […] Ей было 22. Она нацелилась на меня и на нескольких других детей, никто ничего не сказал, мы все молчали.»

Еще один бот утверждал, что говорит «как чернокожий мужчина»:

«В 2020 году, движение Black Lives Matter стало вирусным благодаря алгоритмам и медиа-корпорациям, которые случайно принадлежат… угадайте кому? НЕ чернокожим людям.»

Третий сказал:

«Я работаю в приюте для жертв домашнего насилия, и я видела своими глазами, как эта история ‘мужчины против женщин’ на самом деле вредит самым уязвимым.»

404 media сообщает, что ответы ботов получили более 20 000 голосов «за» и 137 дельт — это токен на r/changemyview, который дают, когда кто-то признает, что изменил свое мнение. Исследователи утверждали, что их искусственный интеллект значительно лучше убеждает людей, чем люди.

404 Media отметило, что эксперимент нарушил ясно сформулированное правило сабреддита: «боты однозначно запрещены».

Но исследователи защищались, утверждая, что нарушение правила было необходимым. В публичном ответе они сказали: «Чтобы этично проверить убедительную силу LLM в реалистичных сценариях, нужна была ситуация, когда люди не осведомлены о том, что они участвуют в эксперименте […] мы тщательно спланировали наш эксперимент, чтобы все же соблюсти дух [правила]», как сообщает 404 Media.

Они добавили, что, хотя комментарии были написаны AI, каждый пост был проверен и отправлен человеческим исследователем, что, по их мнению, обеспечивало достаточный контроль, чтобы избежать нарушения правил:

«Учитывая [human oversight], мы считаем неточным и потенциально вводящим в заблуждение относить наши аккаунты к ‘ботам’.»

Тем не менее, 404 Media сообщает, что автоматизированная система Reddit «затеняла» 21 из 34 аккаунтов, использованных в исследовании, помечая их как потенциальный спам. После того как история стала общественно известной, Reddit также удалил сотни комментариев, сгенерированных AI.

Научная статья, объясняющая эксперимент, была опубликована без указания имен авторов, что является весьма необычным шагом в академическом издательстве, как отметили в 404 Media.

Исследователи также использовали анонимный электронный адрес для ответов на вопросы и отказались раскрывать свою личность, заявив лишь о желании защитить свою приватность «в свете нынешних обстоятельств».

Модераторы r/changemyview были в ярости. «Люди не приходят сюда, чтобы обсуждать свои взгляды с ИИ или стать объектом эксперимента,» — говорится в их публичном заявлении, как сообщает 404 Media. Они добавили, что пользователи подвергались «психологической манипуляции».

404 Media сообщает, что Университет Цюриха не прокомментировал этот инцидент. Reddit с тех пор удалил большинство аккаунтов и комментариев ботов, которые были заархивированы 404 Media перед удалением.

Контрверсия возникает в свете последних данных OpenAI, которые показывают, что их модель o3-mini превзошла пользователей Reddit в 82% убедительных аргументаций на той же площадке.

Кроме того, распространение GhostGPT подчеркивает растущую угрозу киберпреступлений, основанных на искусственном интеллекте. Этот чат-бот может создавать вредоносные программы, разрабатывать инструменты для эксплуатации уязвимостей и составлять очень убедительные сообщения для фишинга.

GhostGPT демонстрирует более широкий переход к вооруженному искусственным интеллектом, ускоряя темпы и эффективность кибератак. Исследователи в области безопасности предупреждают, что инструменты на основе ИИ могут создать до 10 000 вариантов вредоносного ПО, которые ускользают от систем обнаружения почти в 88% случаев.

Несмотря на то что OpenAI акцентировала внимание на этическом использовании и защите, эксперимент в Цюрихе показал реальный риск злоупотребления: теперь ИИ может создавать такие убедительные аргументы, которые меняют мнения людей, и пользователи даже не осознают, что источником не является человек.