Cloudflare требует оплату за контент от ИИ

Cloudflare, одна из крупнейших в мире сетей доставки контента (через неё проходит значительная часть мирового веб-трафика), фактически ставит ИИ-индустрии ультиматум: разделите ботов для поиска и ботов для обучения моделей. Об этом в своём блоге написал сооснователь и генеральный директор компании Мэтью Принс. По его словам, бо́льшая часть трафика в интернете уже приходится на ботов, а не на людей, и этот рубеж был пройден раньше, чем прогнозировали.

Что меняется для владельцев сайтов?

• Блокировка по умолчанию. С 15 сентября 2026 года настройки Cloudflare будут автоматически блокировать краулеры, которые совмещают поисковую индексацию с забором данных для ИИ-агентов и обучения моделей. Это коснётся новых клиентов, новых сайтов существующих клиентов и всех пользователей бесплатного тарифа.

• «Смешанные» краулеры под прицелом. Cloudflare прямо указывает на «крупнейший поисковик в мире» (очевидная отсылка к Google): по данным компании, он получает доступ примерно к вдвое большему объёму информации, чем другие ИИ-компании, потому что владельцам сайтов сложно остаться в поисковой выдаче, не отдавая контент для обучения ИИ.

• Pay Per Use вместо Pay Per Crawl. Ранее Cloudflare запустила маркетплейс Pay Per Crawl, где сайты могли брать плату за само сканирование. Теперь модель эволюционирует: издатели смогут получать деньги не за факт захода бота, а за момент, когда их контент создаёт ценность в ИИ-сервисе. Например, когда текст появляется в ответе ИИ-поисковика.

• Экономия ресурсов. По данным Cloudflare, более 50% трафика от ИИ-краулеров уходит на повторное скачивание страниц, которые не менялись. Блокировка «смешанных» ботов сократит эту бессмысленную нагрузку.

• Первые партнёры. На старте Pay Per Use работает с двумя компаниями: Ceramic.ai и You.com. Если издатель подключится, ему будут платить, когда его контент появится в ИИ-поиске Ceramic или когда You.com обратится к его премиум-материалам. Другие ИИ-компании смогут подключиться и настроить модель оплаты под себя.

Важная деталь: Google в ответ на подобные обвинения ранее указывала, что предоставляет отдельного бота Google Extended, через которого владельцы сайтов могут запретить использование контента для обучения и ИИ-продуктов вроде Gemini, не теряя позиций в поисковой выдаче. Однако основной бот Googlebot по-прежнему сканирует страницы и для поиска, и для ИИ-функций (AI Overviews, AI Mode).

Как подключиться к Pay Per Use?

1. Убедитесь, что ваш сайт работает через Cloudflare (бесплатный тариф тоже подходит, новые настройки блокировки применятся к нему автоматически).
2. В панели управления Cloudflare найдите раздел управления ИИ-ботами и включите Pay Per Use, когда функция станет доступна.
3. Выберите партнёров (на старте Ceramic.ai и You.com), через которых хотите монетизировать контент, и подтвердите подключение.

Есть ли аналог в России?

Прямого аналога Pay Per Use для российских издателей пока нет. «Яндекс» управляет доступом к контенту через файл robots.txt и свои договорённости с площадками, но отдельного маркетплейса, где издатель получает деньги за использование текста в YandexGPT или GigaChat, не существует.

Для авторов на Дзене ситуация ещё проще и грустнее: платформа сама решает, как контент используется внутри экосистемы «Яндекса». Механизм Cloudflare рассчитан на владельцев собственных сайтов и пока работает только с западными ИИ-компаниями.

Частые вопросы

Мой сайт не на Cloudflare. Меня это касается?

Напрямую нет. Блокировка и Pay Per Use работают только на сайтах, которые используют Cloudflare. Но если крупные ИИ-компании начнут разделять поисковых и обучающих ботов, это повлияет на весь рынок: аналогичные механизмы могут появиться у хостинг-провайдеров и CDN-сервисов (сетей доставки контента).

Не потеряю ли я позиции в Google после блокировки?

Cloudflare блокирует только «смешанных» краулеров. Если Google разделит Googlebot на поискового и ИИ-бота (а именно к этому Cloudflare подталкивает), поисковая индексация продолжит работать. Пока разделения нет, владелец сайта может вручную разрешить доступ Googlebot, чтобы не выпасть из выдачи.

Можно ли через Pay Per Use зарабатывать на нейросетях, которые генерируют музыку без авторских прав?

На данный момент Pay Per Use работает с текстовым контентом и ИИ-поиском через Ceramic.ai и You.com. О музыкальных сервисах Cloudflare не сообщала. Но сам принцип «платите за контент, который используете для ИИ» применим к любому типу данных, и если нейросеть для создания музыки без авторских прав обучается на вашем материале через Cloudflare, механизм теоретически может быть настроен и для этого.

Решение Cloudflare впервые ставит вопрос оплаты контента не как этическую дискуссию, а как техническую настройку по умолчанию: через год с небольшим «смешанные» боты окажутся заблокированы, если ИИ-компании не разделят свои краулеры. Для издателей это шанс перестать быть бесплатным сырьём.