AI-боты создают нагрузку на Wikimedia: использование полосы пропускания увеличилось на 50%

Проблема с нагрузкой на серверы Wikimedia

В минувший вторник Фонд Викимедиа сообщил о том, что неустанное использование AI-скриптов вызывает серьезную нагрузку на серверы Википедии. Автоматизированные боты, которые собирают данные для обучения больших языковых моделей (LLM), накачивают тербайты информации, что привело к увеличению использования полосы пропускания для загрузки мультимедийного контента на 50% с начала 2024 года. Эта ситуация стала знакома многим в сообществе свободного и открытого программного обеспечения (FOSS).

Разнообразие платформ Фонда Викимедиа

Фонд Викимедиа управляет не только Википедией, но и такими платформами, как Викисклад, который предлагает 144 миллиона медиафайлов под открытыми лицензиями. На протяжении многих лет этот контент использовался для различных нужд — от поисковых результатов до школьных проектов. Однако с начала 2024 года компании, занимающиеся искусственным интеллектом, значительно увеличили объем автоматизированного сканирования через прямое индексирование, API и массовые загрузки, чтобы удовлетворить потребности своих моделей ИИ. Этот экспоненциальный рост трафика, генерируемого не людьми, привел к значительным техническим и финансовым затратам, зачастую без указания источника, что затрудняет поддержку волонтерской экосистемы Викимедиа.

Конкретные примеры воздействия

Воздействие на инфраструктуру Фонда Викимедиа не является теоретическим. Например, когда в декабре 2024 года скончался бывший президент США Джимми Картер, его страница в Википедии привлекла миллионы просмотров. Однако настоящий стресс для серверов пришелся на момент, когда пользователи одновременно начали транслировать 1,5-часовое видео дебатов 1980 года из Викисклада. Этот всплеск трафика удвоил обычный сетевой трафик Wikimedia, временно перегрузив несколько интернет-соединений. Инженеры Wikimedia быстро перенаправили трафик, чтобы уменьшить перегрузку, но инцидент выявил более глубокую проблему: базовая полоса пропускания уже была в значительной степени использована ботами, которые собирали медиафайлы в больших объемах.

Итоги и последствия

Ситуация, сложившаяся вокруг нагрузки на серверы Wikimedia, подчеркивает важность устойчивого использования ресурсов, необходимых для поддержки таких платформ, как Википедия. Увеличение использования автоматизированных ботов ставит под угрозу как техническую, так и финансовую стабильность Фонда Викимедиа, и требует от сообщества поиска решений для обеспечения долгосрочной доступности и поддержки свободного контента.