AI-кравлеры атакуют открытые репозитории: вызов для разработчиков

Проблема с AI-кравлерами

Разработчик программного обеспечения Xe Iaso столкнулся с серьезной проблемой в начале этого года. Агрессивный трафик от AI-кравлеров Amazon переполнил их сервис Git-репозиториев, что привело к постоянной нестабильности и сбоям. Несмотря на предпринятые меры для защиты — настройку файла robots.txt, блокировку известных пользовательских агентов и фильтрацию подозрительного трафика — Iaso обнаружил, что AI-кравлеры продолжают обходить все попытки остановить их, подменяя пользовательские агенты и используя резидентные IP-адреса в качестве прокси.

Инновационные меры защиты

В поисках решения Iaso был вынужден переместить свой сервер за VPN и создать «Ану비스» — уникальную систему, основанную на доказательстве работы, которая заставляет веб-браузеры решать вычислительные задачи перед доступом к сайту. Как отметил Iaso в своем блоге под названием «Отчаянный крик о помощи»: «Бесполезно блокировать боты AI-кравлеров, потому что они обманывают, меняют свои пользовательские агенты, используют резидентные IP-адреса как прокси и многое другое. Я не хочу закрывать свой сервер Gitea для публики, но, если это необходимо, я готов к этому.»

Широкая проблема в сообществе открытого кода

История Iaso подчеркивает более широкую кризисную ситуацию, которая стремительно охватывает сообщество открытого кода. Похоже, что агрессивные AI-кравлеры всё чаще перегружают инфраструктуру, поддерживаемую сообществом, что приводит к постоянным атакам, аналогичным распределённым атакам на отказ в обслуживании (DDoS), на жизненно важные публичные ресурсы. По данным недавнего отчета от LibreNews, некоторые проекты с открытым исходным кодом теперь видят, что до 97% их трафика исходит от ботов AI-компаний, что значительно увеличивает расходы на пропускную способность, нестабильность услуг и создает дополнительную нагрузку на уже перегруженных поддерживающих разработчиков.

Заключение

Проблема с AI-кравлерами — это не просто техническая трудность, но и серьезный вызов для всей экосистемы открытого кода. Разработчики ищут новые способы защиты своих ресурсов и обеспечения стабильности работы своих сервисов. В условиях нарастающего давления со стороны технологий искусственного интеллекта, сообществу необходимо объединиться для нахождения эффективных решений и защиты своих проектов.