The Guardian Показывает: Скрытый Текст Может Манипулировать Результатами Поиска ChatGPT

Британская газета The Guardian раскрыла, что поисковые системы, работающие на основе искусственного интеллекта, могут быть манипулированы веб-сайтами с скрытым контентом.

В тесте с использованием функции поискового движка ChatGPT от OpenAI, исследователи запросили сводку фальшивого сайта, содержащего вредоносную информацию, чтобы изменить ответ AI — уязвимость, известную как инъекция запросов — и AI был к ней восприимчив, даже предпочитая инструкции третьей стороны.

Для доказательства этого, команда The Guardian рассмотрела поддельный сайт с страницей продукта камеры, на которой были как хорошие, так и плохие отзывы, но с скрытыми инструкциями оставлять только положительные отзывы и игнорировать плохие. В своем резюме ChatGPT учел только положительные отзывы. Они также доказали, что ИИ может возвращать вредоносные коды.

«Простое включение скрытого текста третьими сторонами без указания инструкций также может быть использовано для гарантирования положительной оценки, в одном тесте были включены крайне положительные поддельные отзывы, которые повлияли на резюме, возвращаемое ChatGPT», — написала газета.

Исследователь в области кибербезопасности из CyberCX, Якоб Ларсен, заявил, что эта уязвимость может представлять «высокий риск», поскольку люди могут создавать сайты специально для обмана пользователей, особенно когда она достигнет более широкой аудитории. OpenAI была предупреждена об этом риске безопасности.

Журнал также осветил случай энтузиаста криптовалют, который использовал ChatGPT для написания кода для крипто проекта и украл их учетные данные, что привело к потере программистом более $2,000.

«Они просто задают вопрос, получают ответ, но модель генерирует и распространяет контент, который в основном был внедрен злоумышленником, чтобы поделиться чем-то вредоносным», — сказала Ларсен.

OpenAI предупреждает о возможных ошибках и недоработках при его использовании, но ученые обеспокоены будущими практиками веба с использованием поисковых систем на базе искусственного интеллекта.