Исследование показывает: пакеты кода ИИ открывают двери для хакеров

Код, сгенерированный искусственным интеллектом, часто включает в себя поддельные программные библиотеки, создавая новые возможности для хакеров атаковать цепочки поставок и подвергать риску пользователей на различных платформах разработки.

Исследования показывают, что код, созданный с помощью инструментов искусственного интеллекта, создает значительные уязвимости в области безопасности, которые угрожают цепочке поставок программного обеспечения. Это исследование, впервые обнародованное Ars Technica, указывает, что большие языковые модели (БЯМ), работающие аналогично системам ChatGPT, генерируют вымышленные зависимости кода, которые хакеры могут потенциально использовать в злонамеренных целях.

Ars сообщает, что исследователи оценили 16 широко используемых моделей ИИ путем генерации 576 000 примеров кода. Анализ показал, что 440 000 ссылок на пакеты были «придуманы», поскольку они указывали на несуществующие библиотеки кода.

Существование этих выдуманных зависимостей создает значительный риск для безопасности. Ars сообщает, что злоумышленники могут определить повторяющиеся предложения ИИ о названиях пакетов, чтобы загрузить вредоносные пакеты с этими названиями. Злоумышленник получает контроль над системой разработчика, когда тот невольно устанавливает вредоносный код.

«Как только злоумышленник публикует пакет под выдуманным именем, содержащим вредоносный код, они рассчитывают на то, что модель предложит это имя ничего не подозревающим пользователям,» — объяснил Джозеф Спрэклен, аспирант Университета Техаса в Сан-Антонио и ведущий исследователь, как сообщает Ars.

«Если пользователь доверяет выводу LLM и устанавливает пакет, не тщательно проверяя его, то вредоносный груз злоумышленника, скрытый в вредоносном пакете, будет выполнен в системе пользователя,» — добавил Спрэклен.

Метод атаки обманывает программное обеспечение, заставляя его выбирать опасную версию пакета вместо предназначенной правильной версии, как сообщает Ars. Атака, связанная с путаницей в зависимостях, повлияла на крупные технологические компании, включая Apple, Microsoft и Tesla, во время предыдущих тестов.

Исследователи обнаружили, что открытые модели, такие как CodeLlama, генерировали больше галлюцинационных пакетов, чем коммерческие модели. Открытые модели генерировали ложные ссылки на код с частотой 22%, тогда как коммерческие модели производили галлюцинации в 5% случаев или даже реже. Язык программирования JavaScript столкнулся с большим количеством галлюцинаций, чем Python, поскольку он работает в более крупной и сложной экосистеме кода.

Согласно исследованию, это не просто единичные ошибки. В исследовании сообщается, что многие поддельные пакеты появлялись вновь и вновь в различных тестах, что делает их более опасными, поскольку их можно легче нацелить на атакующих.

Ars объясняет, что злоумышленники могут использовать повторяющиеся имена поддельных пакетов, загружая вредоносные программы под этими именами, в надежде, что разработчики установят их, не подозревая об этом.