Машинный трафик ИИ уже в 5 раз больше человеческого: под краулерами прячутся сканеры паролей

Cloudflare, одна из крупнейших инфраструктурных компаний интернета, опубликовала данные за второй квартал 2025 года. Финансовый директор Томас Зайферт сообщил на звонке с аналитиками: компания ожидала, что машинный трафик ИИ превысит человеческий к 2027 году, но это случилось уже в мае 2026-го. Менее половины всех запросов к HTML-страницам теперь приходят от живых людей. Исследователь безопасности с сайта nohacks.co проверил статистику на собственном ресурсе и обнаружил, что крупнейший «ИИ-краулер» за сутки оказался не краулером, а сканером учётных данных.

Что скрывается за цифрами о машинном трафике?

• Масштаб роста. По словам Зайферта, если текущие тенденции сохранятся, через пять лет нечеловеческий трафик превысит человеческий в тысячу раз. Сам Зайферт оговорился: «с большой оговоркой, что я ошибался на каждом этапе прогноза». Но его ошибки шли в сторону недооценки, что делает прогноз скорее заниженным.

• Краулеры маскируют атаки. За сутки 7 августа сайт nohacks.co получил около 3 000 запросов от ИИ-краулеров. Крупнейшим «посетителем» стал CCBot (краулер некоммерческого архива Common Crawl) с 1 510 запросами. Но при экспорте путей выяснилось: бот запрашивал файлы /.ssh/known_hosts, /phpinfo.php, /.env.production, /firebase-service-account.json, приватные ключи и конфигурации серверов. К реальному контенту сайта он не обращался вообще.

• Невидимость для защиты. Эти запросы не вызвали ни одного события в журнале безопасности, потому что формально не нарушали ни одного правила. Они появились только в панели «AI-краулеры» Cloudflare, рядом с ChatGPT-User и Googlebot, под именем некоммерческого архива.

• Новые цели: агентные конфигурации. Среди запрашиваемых путей обнаружились /.mcp.json (30 запросов) и /.continue/config.json (24 запроса). Это файлы конфигурации MCP-серверов (серверов, через которые ИИ-агенты подключаются к внешним сервисам) и настроек ИИ-ассистентов для разработки. В этих файлах обычно хранятся API-токены (ключи доступа к платным сервисам) и SSH-ключи (пароли для удалённого подключения к серверам). Кто-то уже добавил агентные учётные данные в стандартный список для автоматического сканирования.

• Cloudflare сама указала на проблему. В инженерном блоге той же недели компания признала: значительная часть «машинного трафика» ИИ от добросовестных ботов приходится на повторные запросы к страницам, которые не менялись. По их формулировке, «огромный объём машинных усилий, не привязанный ни к какому результату».

Как проверить свой сайт прямо сейчас?

1. Войдите в панель Cloudflare (если используете), откройте раздел «AI Crawlers» или «Bot Analytics» и экспортируйте список запрашиваемых путей за последние сутки.
2. Найдите в списке запросы к системным файлам: /.env, /.ssh, /id_rsa, /.mcp.json, /firebase-service-account.json и подобным. Если такие есть, ваш сайт уже сканируют.
3. Убедитесь, что конфигурационные файлы и файлы с ключами недоступны через веб-сервер. Добавьте правила блокировки для этих путей или перенесите чувствительные файлы за пределы публичной директории.
4. Если вы используете MCP-серверы или ИИ-агентов с внешними подключениями, проверьте, не лежат ли файлы .mcp.json и .continue/config.json в корне сайта. Если лежат, уберите их и смените API-токены, которые там хранились.

Есть ли аналогичная угроза для сайтов в России?

Проблема не зависит от географии. Машинный трафик ИИ растёт на всех серверах, включая российские. Сайты на «Яндекс.Облаке», VDS-хостингах и даже на Дзене (если автор ведёт параллельно свой сайт) получают тот же поток краулеров.

Из российских инструментов защиты: «Яндекс.Облако» предоставляет WAF (Web Application Firewall, фильтр вредоносных запросов к сайту), а Cloudflare доступен и для российских доменов, хотя оплата может потребовать карту зарубежного банка. Встроенной аналитики краулеров уровня Cloudflare AI Dashboard у российских хостингов пока нет, поэтому мониторить подозрительные пути придётся через серверные логи вручную или скриптами.

Частые вопросы

Может ли машинный трафик ИИ навредить обычному автору на Дзене?

Напрямую нет. Дзен сам управляет серверной инфраструктурой и блокирует подозрительные запросы. Угроза касается тех, кто ведёт собственный сайт или блог и хранит на нём файлы с ключами доступа к внешним сервисам.

Как отличить настоящий краулер от сканера, который маскируется под него?

Настоящий CCBot (краулер Common Crawl) приходит с документированных IP-адресов, которые обратно разрешаются в домен crawl.commoncrawl.org. Если у вас есть доступ к логам сервера, проверьте IP-адрес через обратный DNS-запрос. Если краулер запрашивает системные файлы вместо страниц сайта, это почти наверняка сканер.

Стоит ли полностью блокировать всех ИИ-краулеров на своём сайте?

Это зависит от ваших целей. Блокировка через robots.txt остановит добросовестных краулеров (Googlebot, ChatGPT-User, ClaudeBot), но не остановит сканеры, которые игнорируют правила. Для защиты от сканеров нужны серверные правила: запрет доступа к системным путям и WAF. А блокировка легальных краулеров лишит вас присутствия в ИИ-поисковиках, что уже влияет на трафик.

Кто ведёт свой сайт параллельно с каналом, потратьте сегодня десять минут на проверку логов: машинный трафик ИИ уже превысил человеческий, и часть этого трафика охотится не за вашими статьями, а за вашими ключами.