Cloudflare начнёт блокировать Googlebot при защите от ИИ: сайты рискуют потерять индексацию

Cloudflare классифицирует Googlebot и Bingbot как ботов категории «Search + Training». Это значит, что они одновременно индексируют страницы для поиска и собирают данные для обучения ИИ. Именно из-за этой двойной роли настройка «Block AI Training» затрагивает и поисковую индексацию.

Пользователь на Reddit-форуме r/SEO описал конкретную ситуацию: при включённом режиме AI Training = Block его сайт начал отдавать поисковым ботам Google и Bing ошибку HTTP 403 (запрет доступа) при попытке загрузить карту сайта (sitemap, файл со списком всех страниц для поисковиков). Как только он отключал блокировку ИИ-обучения, доступ восстанавливался. Джон Мюллер из Google обратил внимание на этот пост и попросил написать ему в личные сообщения для детального разбора.

Что изменится 15 сентября 2026 года?

По официальному заявлению Cloudflare:

• Для новых доменов Cloudflare установит обновлённые настройки по умолчанию: боты категорий «Training» (обучение) и «Agent» (ИИ-агент, программа, которая сама выполняет задачи на сайте) будут заблокированы на страницах с рекламой. Категория «Search» (поиск) останется разрешённой.
• Краулеры двойного назначения, совмещающие поиск и сбор данных для обучения ИИ, будут блокироваться ЛЮБОЙ конфигурацией, запрещающей ИИ-обучение, включая старую опцию «Block AI bots».
• До 15 сентября все клиенты Cloudflare могут отказаться от новых настроек по умолчанию.

Примечательно, что блокировка должна заработать только в сентябре, но один пользователь уже столкнулся с ней. По его словам, в разделе AI Crawlers панели Cloudflare Googlebot и Bingbot отображаются как заблокированные автоматически. Является ли это ошибкой конфигурации или ранним включением новой политики, пока неясно.

Как проверить свой сайт и не потерять индексацию?

1. Зайдите в панель управления Cloudflare, откройте раздел Security, затем Bots, затем AI Crawlers & Scrapers. Посмотрите, какие боты отмечены как заблокированные. Если видите Googlebot или Bingbot в списке заблокированных, это сигнал проблемы.
2. Проверьте, включён ли режим Bot Fight Mode. Пользователь на Reddit сообщил, что именно этот режим вызывал ошибку 403 при загрузке sitemap поисковиками.
3. Попробуйте загрузить свою карту сайта через Google Search Console (инструмент Google для вебмастеров). Если видите ошибку 403, отключите блокировку ИИ-обучения и повторите проверку.
4. До 15 сентября 2026 года примите решение: оставить текущие настройки или воспользоваться возможностью отказаться от новых умолчаний Cloudflare (opt out).

Есть ли аналогичная проблема в Рунете?

Для сайтов, ориентированных на «Яндекс», ситуация отличается. «Яндекс» использует собственного бота (YandexBot), и на момент публикации Cloudflare не относит его к категории «Search + Training». Однако если ваш сайт зависит от трафика из Google и Bing, а вы при этом используете Cloudflare, дилемма касается вас напрямую, даже если основная аудитория в России.

Российские CDN-сервисы (сети доставки контента, ускоряющие загрузку сайта) и сервисы защиты от ботов, например от «Яндекса» или DDoS-Guard, пока не объявляли о подобной классификации поисковых ботов как «двойного назначения». Но тренд на блокировку ИИ-скрейпинга (автоматического сбора данных для обучения нейросетей) растёт повсеместно, и похожие решения могут появиться.

Частые вопросы

Cloudflare блокирует Googlebot уже сейчас или только с сентября?

Официально новые настройки по умолчанию вступят в силу 15 сентября 2026 года. Однако, по сообщению пользователя Reddit, блокировка Googlebot при включённом режиме AI Training = Block и Bot Fight Mode происходит уже сейчас. Является ли это ошибкой или ранним поведением новой политики, пока не подтверждено.

Можно ли заблокировать ИИ-краулеры и сохранить индексацию Google?

На данный момент Cloudflare не предоставляет отдельной настройки, которая блокировала бы только обучающую функцию Googlebot, оставляя поисковую. Бот классифицирован как «Search + Training» целиком. Пользователь, обнаруживший проблему, тоже не нашёл решения и задал этот вопрос сообществу.

Затрагивает ли это «Яндекс»?

В официальном заявлении Cloudflare речь идёт о ботах категории «Search + Training». YandexBot в эту категорию на момент публикации не включён. Но если вы получаете трафик из Google или Bing, проблема касается вас вне зависимости от основной поисковой системы вашей аудитории.