Cloudflare даёт владельцам сайтов защиту от ИИ: боты уже составляют больше половины трафика

Cloudflare обнаружила в июне, что боты составляют больше половины интернет-трафика, и теперь компания предлагает владельцам сайтов три варианта: блокировать ИИ-ботов, пропускать их или допускать только тех, кто готов платить за доступ к контенту.

Cloudflare, компания, через серверы которой проходит трафик миллионов сайтов в более чем 350 городах мира, меняет подход к тому, как устроен бизнес в интернете. Об этом рассказал CEO Мэтью Принс в интервью The Verge. По его словам, рекламная модель, которая кормила веб последние 30 лет, трещит: всё больше трафика генерируют не люди, а ИИ-агенты (программы, которые выполняют задачи в сети вместо человека) и краулеры (боты, которые скачивают содержимое страниц для обучения нейросетей).

Что даёт владельцам сайтов новый подход Cloudflare?

• Блокировка ИИ-краулеров. Владелец сайта может полностью закрыть доступ для ботов, которые собирают контент для обучения нейросетей. Это прямая защита сайтов от ИИ на уровне сетевой инфраструктуры.

• Выборочный допуск. Можно пропускать только тех ботов, чьи компании готовы платить за контент. Остальные получают отказ.

• Полный допуск. Если владелец хочет, чтобы его материалы попадали в обучающие данные (training data, массивы текстов и данных, на которых тренируют нейросети), он открывает доступ всем.

• Масштаб проблемы. По данным Cloudflare, в июне боты впервые составили больше половины всего интернет-трафика. Мэтью Принс на конференции Web Summit в ноябре говорил, что ожидал этого рубежа позже, но рост оказался быстрее прогнозов.

Почему рекламная модель интернета под ударом?

Принс объясняет механику просто. Последние 28 лет экосистему веба строил Google: поиск приводил людей на сайты, сайты зарабатывали на рекламе. Теперь ИИ-агенты читают страницы вместо людей, и рекламу им показывать бессмысленно. Контент скачивается, но деньги мимо автора.

Cloudflare хочет занять позицию посредника: компания уже стоит между сайтами и посетителями (защищает от атак, ускоряет загрузку), теперь она предлагает ещё и контролировать, кто из ИИ-ботов получает доступ и на каких условиях. Фактически это новый слой монетизации для тех, кто создаёт контент.

Отдельно Принс признал, что ИИ меняет и саму Cloudflare изнутри. В начале 2025 года компания уволила больше тысячи сотрудников, это 20 процентов штата. Принс написал колонку в Wall Street Journal с заголовком «Как я выбираю, кого из сотрудников Cloudflare заменить на ИИ». Он не скрывает: часть рабочих задач уже перешла к нейросетям.

Как попробовать защиту сайтов от ИИ?

1. Зайдите в панель управления Cloudflare (если ваш сайт уже подключён к сервису) и найдите настройки управления ботами. Там доступны варианты блокировки и фильтрации ИИ-краулеров.

2. Если сайт не подключён к Cloudflare, зарегистрируйтесь на cloudflare.com и добавьте домен. Базовый тариф бесплатный, но конкретные условия платного допуска ИИ-ботов компания пока не раскрыла.

3. Проверьте статистику бот-трафика в панели: Cloudflare показывает, какая доля посетителей вашего сайта приходится на людей, а какая на ботов.

Есть ли аналоги в России?

Прямого российского аналога Cloudflare с функцией монетизации доступа ИИ-ботов на момент публикации нет. Российские сервисы защиты от ботов (например, DDoS-Guard или Qrator Labs) фильтруют вредоносный трафик, но не предлагают механизм «пропусти бота, если он заплатит».

Для авторов в РФ и СНГ ситуация двойная. С одной стороны, защита сайтов от ИИ-краулеров через Cloudflare работает и для русскоязычных ресурсов, если домен подключён к сервису. С другой стороны, если западные площадки массово начнут закрывать контент от ботов, это напрямую ударит по качеству обучающих данных для российских нейросетей: YandexGPT и GigaChat (отечественные языковые модели от Яндекса и Сбера) тоже нуждаются в текстах для обучения.

Частые вопросы

Cloudflare блокирует всех ботов или только ИИ-краулеров?

Нет, блокируется не весь бот-трафик. Владелец сайта сам выбирает: закрыть доступ только ИИ-краулерам, пропустить всех или допустить конкретных ботов на платной основе. Поисковые роботы Google и Яндекса, это отдельная категория, и их блокировка настраивается независимо.

Работает ли это для сайтов на русском языке?

Да, Cloudflare обслуживает сайты на любом языке. Если ваш домен подключён к Cloudflare, инструменты управления ботами доступны вне зависимости от языка контента. Но если ваш контент размещён только на платформе (Дзен, ВКонтакте), управление трафиком остаётся за платформой.

Повлияет ли массовая блокировка ботов на российские нейросети?

Если крупные англоязычные сайты начнут закрывать доступ краулерам, это сократит объём доступных обучающих данных для всех языковых моделей, включая российские. Пока масштаб блокировок не критический, но тренд набирает силу: по данным Cloudflare, доля бот-трафика уже превысила половину, и всё больше владельцев сайтов хотят этот поток контролировать.

Веб перестаёт быть бесплатным шведским столом для нейросетей, и Cloudflare первой выстраивает кассу на входе. Вопрос в том, достанутся ли деньги авторам или осядут у посредников.