Проекты с открытым исходным кодом сталкиваются с проблемами из-за перегрузки их систем ИИ-поиском

Веб-сканеры, работающие на основе искусственного интеллекта, стали серьезной угрозой для сообществ открытого программного обеспечения, вызвав массовые сбои в их инфраструктуре.

Популярные репозитории сталкиваются со стрессом ресурсов из-за этих ботов, которые были развернуты AI компаниями для сбора обучающих данных для языковых моделей, что замедляет развитие, как впервые сообщила ArsTechnica.

Дрю ДеВолт из SourceHut поделился своими наблюдениями о этих краулерах в блоге, где описал их разрушительное воздействие. Эти AI-боты обошли инструкции файла robots.txt, которые направляют краулеров обходить определенные страницы, и таким образом вызвали крупные сбои на платформе SourceHut.

Краулеры атаковали конкретные конечные точки, такие как логи git и коммиты, используя случайные IP-адреса, чтобы маскировать свою активность под обычный пользовательский трафик. Боты сделали эффективное блокирование невозможным своими методами, что привело к продолжительной задержке выполнения проектных задач и нарушениям обслуживания пользователей.

Инфраструктура GitLab в KDE временно вышла из строя из-за ботов, исходящих из диапазона IP-адресов Alibaba. Открытые проекты GNOME и другие столкнулись с идентичными атаками, поэтому они внедрили систему Anubis, которая требует от ботов решать вычислительные задачи перед предоставлением доступа к сайту, как сообщает The LibreNews.

Введение «ядерной опции» Anubis привело к увеличению времени ожидания для реальных пользователей, которые столкнулись с существенным ростом трафика в запросах на слияние GNOME, сообщает LibreNews.

Бен, работающий системным администратором KDE, заметил, что боты скрывали свою идентичность, используя пользовательские агенты Microsoft Edge, чтобы имитировать реальных пользователей и избежать обнаружения среди легитимного трафика. Команда Fedora отреагировала на это нарушение, прервав весь бразильский веб-трафик, чтобы предотвратить дальнейшие проблемы, сообщает LibreNews.

Отчет LibreNews показывает, что теперь многие проекты с открытым исходным кодом получают 97% своего веб-трафика от краулеров AI компаний. Проекты с открытым исходным кодом сталкиваются с увеличивающимися трудностями, поскольку расходы на пропускную способность продолжают расти, в то время как системные администраторы испытывают увеличивающееся давление по поддержанию бесперебойной работы.

Проекты с открытым исходным кодом в настоящее время используют черные списки и фильтрацию пользовательских агентов, специфических для AI, в качестве экстренных решений, однако адаптации ботов постоянно делают эти методы неэффективными.

Растущая проблема AI-сканеров показывает, как проекты с открытым исходным кодом становятся уязвимыми для угроз, поскольку они зависят от общедоступной инфраструктуры и поддержки волонтеров.

Открытые данные приносят пользу компаниям, работающим в области искусственного интеллекта, однако их чрезмерные практики по сбору данных в конечном итоге наносят ущерб системам, обеспечивающим доступность открытого интернета.