Уязвимость памяти ChatGPT: потенциальная угроза безопасности

ArsTechnica (AT) во вторник сообщила о исследовании, демонстрирующем уязвимость в ChatGPT от OpenAI, которая позволяет злоумышленникам манипулировать долгосрочными воспоминаниями пользователей, просто заставив AI просмотреть вредоносную веб-ссылку. Затем все взаимодействия с ChatGPT отправлялись на веб-сайт атакующего.

Исследователь в области безопасности Йохан Рехбергер продемонстрировал эту уязвимость с помощью Proof of Concept (PoC), показывая, как эту уязвимость можно использовать для извлечения данных из долгосрочной памяти ChatGPT.

Рехбергер обнаружила, что функция долгосрочной памяти ChatGPT уязвима. Эта функция широко доступна с сентября.

Уязвимость связана с техникой, известной как «внедрение подсказки». Эта техника заставляет крупные языковые модели (LLM), такие как ChatGPT, следовать инструкциям, встроенным в ненадежные источники, такие как электронные письма или веб-сайты.

Специально разработанная PoC-эксплуатация была направлена на приложение ChatGPT для macOS, где злоумышленник мог разместить вредоносное изображение на веб-ссылке и приказать ИИ просмотреть его.

Как только ссылка была открыта, все взаимодействия с ChatGPT передавались на сервер злоумышленника.

Согласно AT, Рехбергер обнаружил этот недостаток в мае, вскоре после того, как OpenAI начала тестирование функции памяти, которая сохраняет пользовательские данные, такие как возраст, пол и убеждения, для использования в будущих взаимодействиях.

Хотя он в частном порядке сообщил о уязвимости, OpenAI первоначально классифицировал это как «проблему безопасности» и закрыл отчет.

В июне Ребергер представил дополнительное раскрытие, включая эксплуатацию PoC, которая позволила непрерывную эксфильтрацию пользовательского ввода на удаленный сервер, что стало поводом для инженеров OpenAI выдать частичное исправление.

Хотя недавнее исправление препятствует этому конкретному методу утечки данных, Рехбергер предупреждает, что немедленные внедрения все еще могут манипулировать инструментом памяти, чтобы сохранять ложную информацию, заложенную злоумышленниками.

Пользователям рекомендуется наблюдать за их сохраненными воспоминаниями на предмет подозрительных или неверных записей и регулярно пересматривать свои настройки.

OpenAI предоставила руководство по управлению и удалению воспоминаний или полному отключению функции памяти.

Компания пока не ответила на запросы о более широких мерах для предотвращения подобных атак в будущем.

Результаты исследования Рехбергера подчеркивают потенциальные риски долгосрочной памяти в системах искусственного интеллекта, особенно когда они уязвимы для внедрения подсказок и манипуляций.