Уязвимость памяти ChatGPT: потенциальная угроза безопасности

Image by Tumisu, from Pixabay

Уязвимость памяти ChatGPT: потенциальная угроза безопасности

Время для прочтения: 2 мин.

  • Киара Фаббри

    Автор: Киара Фаббри Мультимедийный журналист

  • Команда локализации и перевода

    Перевод выполнен: Команда локализации и перевода Услуги локализации и перевода

Спешите? Вот краткие факты!

  • Выявлена уязвимость в функции долгосрочной памяти ChatGPT.
  • Данный недостаток позволяет внедрять команды из ненадежных источников, таких как электронная почта.
  • ChatGPT может сохранять ложную информацию на основе манипулированных вводов памяти.

ArsTechnica (AT) во вторник сообщила о исследовании, демонстрирующем уязвимость в ChatGPT от OpenAI, которая позволяет злоумышленникам манипулировать долгосрочными воспоминаниями пользователей, просто заставив AI просмотреть вредоносную веб-ссылку. Затем все взаимодействия с ChatGPT отправлялись на веб-сайт атакующего.

Исследователь в области безопасности Йохан Рехбергер продемонстрировал эту уязвимость с помощью Proof of Concept (PoC), показывая, как эту уязвимость можно использовать для извлечения данных из долгосрочной памяти ChatGPT.

Рехбергер обнаружила, что функция долгосрочной памяти ChatGPT уязвима. Эта функция широко доступна с сентября.

Уязвимость связана с техникой, известной как «внедрение подсказки». Эта техника заставляет крупные языковые модели (LLM), такие как ChatGPT, следовать инструкциям, встроенным в ненадежные источники, такие как электронные письма или веб-сайты.

Специально разработанная PoC-эксплуатация была направлена на приложение ChatGPT для macOS, где злоумышленник мог разместить вредоносное изображение на веб-ссылке и приказать ИИ просмотреть его.

Как только ссылка была открыта, все взаимодействия с ChatGPT передавались на сервер злоумышленника.

Согласно AT, Рехбергер обнаружил этот недостаток в мае, вскоре после того, как OpenAI начала тестирование функции памяти, которая сохраняет пользовательские данные, такие как возраст, пол и убеждения, для использования в будущих взаимодействиях.

Хотя он в частном порядке сообщил о уязвимости, OpenAI первоначально классифицировал это как «проблему безопасности» и закрыл отчет.

В июне Ребергер представил дополнительное раскрытие, включая эксплуатацию PoC, которая позволила непрерывную эксфильтрацию пользовательского ввода на удаленный сервер, что стало поводом для инженеров OpenAI выдать частичное исправление.

Хотя недавнее исправление препятствует этому конкретному методу утечки данных, Рехбергер предупреждает, что немедленные внедрения все еще могут манипулировать инструментом памяти, чтобы сохранять ложную информацию, заложенную злоумышленниками.

Пользователям рекомендуется наблюдать за их сохраненными воспоминаниями на предмет подозрительных или неверных записей и регулярно пересматривать свои настройки.

OpenAI предоставила руководство по управлению и удалению воспоминаний или полному отключению функции памяти.

Компания пока не ответила на запросы о более широких мерах для предотвращения подобных атак в будущем.

Результаты исследования Рехбергера подчеркивают потенциальные риски долгосрочной памяти в системах искусственного интеллекта, особенно когда они уязвимы для внедрения подсказок и манипуляций.

Понравилась статья? Поставьте оценку!
Ужасно Удовлетворительно Хорошо Очень хорошо! Превосходно!
0 Проголосовало 0 пользователей
Заголовок
Комментарий
Спасибо за ваш отзыв
Please wait 5 minutes before posting another comment.
Comment sent for approval.

Оставьте комментарий

Показать больше...