Исследователи обнаружили уязвимости безопасности в открытых исходниках AI и моделях ML

Недавнее расследование выявило более 30 уязвимостей безопасности в открытых AI и моделях машинного обучения (ML), вызывая опасения о возможном краже данных и неправомерном выполнении кода, как сообщает The Hacker News (THN).

Эти уязвимости были обнаружены в широко используемых инструментах, включая ChuanhuChatGPT, Lunary и LocalAI, и были сообщены через платформу для поиска ошибок Huntr от Protect AI, которая стимулирует разработчиков выявлять и раскрывать проблемы безопасности.

Среди выявленных наиболее серьезных уязвимостей, два основных недостатка влияют на Lunary, набор инструментов, предназначенный для управления большими языковыми моделями (LLM) в производственных средах.

Первый недостаток, CVE-2024-7474, классифицируется как уязвимость по небезопасной прямой ссылке на объект (IDOR). Она позволяет пользователю с доступными привилегиями просматривать или удалять данные других пользователей без авторизации, что потенциально приводит к утечкам данных и несанкционированной потере данных.

Второй критической проблемой, CVE-2024-7475, является уязвимость некорректного контроля доступа, которая позволяет злоумышленнику обновить конфигурацию SAML (Security Assertion Markup Language) системы.

Используя этот недостаток, злоумышленники могут обойти безопасность входа в систему и получить несанкционированный доступ к личным данным, что представляет собой значительный риск для любой организации, использующей Lunary для управления LLMs.

Еще одну уязвимость в безопасности, обнаруженную в Lunary, CVE-2024-7473, также связана с уязвимостью IDOR, которая позволяет злоумышленникам обновлять сообщения, отправленные другими пользователями. Это достигается путем манипуляции с параметром, контролируемым пользователем, что делает возможным вмешательство во взаимодействие других людей в системе.

В ChuanhuChatGPT критическая уязвимость (CVE-2024-5982) позволяет злоумышленнику использовать недостаток в функции загрузки пользователя для обхода пути, как отмечено в THN.

Этот недостаток может привести к произвольному выполнению кода, созданию каталогов и раскрытию конфиденциальных данных, что представляет высокий риск для систем, полагающихся на этот инструмент. LocalAI, другая открытая платформа, которая позволяет пользователям запускать самоуправляемые LLM, имеет два основных недостатка, которые представляют схожие риски для безопасности, сообщает THN.

Первый недостаток, CVE-2024-6983, позволяет выполнение вредоносного кода, позволяя злоумышленникам загрузить вредоносный файл конфигурации. Второй, CVE-2024-7010, позволяет хакерам вычислять ключи API, измеряя время ответа сервера, используя метод временной атаки для постепенного выведения каждого символа ключа, отмечает THN.

В ответ на эти открытия, Protect AI представил новый инструмент под названием Vulnhuntr — это открытый статический анализатор кода на Python, который использует большие языковые модели для обнаружения уязвимостей в кодовых базах Python, сообщает THN.

Vulnhuntr разбивает код на меньшие части, чтобы определить безопасностные проблемы в рамках контекстного окна языковой модели. Он сканирует файлы проекта, чтобы обнаружить и проследить возможные слабые места от пользовательского ввода до выхода сервера, улучшая безопасность для разработчиков, работающих с кодом AI.

Эти открытия подчеркивают критическую важность проведения постоянной оценки уязвимостей и обновлений безопасности в системах ИИ и машинного обучения для защиты от возникающих угроз в развивающемся ландшафте технологий искусственного интеллекта.