Common Crawl выпустил гайд по видимости для ИИ: 64% языковых моделей учатся на его данных

Зачем это нужно и при чём тут ваш сайт

Common Crawl ежемесячно индексирует веб и складывает результат в открытый архив. Этот архив питает ключевые обучающие наборы: C4, RefinedWeb, RedPajama, Dolma, FineWeb и другие. Лаборатории вроде OpenAI берут не сырой архив, а его фильтрованные производные, но отправная точка одна: краулер CCBot пришёл на страницу, прочитал её и сохранил.

Июльский краул 2026 года содержит 2,14 миллиарда страниц. При этом, например, сайт BBC заблокировал CCBot в файле robots.txt (файл-инструкция для поисковых роботов, указывающая, какие страницы можно читать), и в архиве его фактически нет. По данным BuzzStream, 75% крупнейших издателей США и Великобритании намеренно блокируют краулеры для обучения ИИ.

Проблема в том, что блокировка часто возникает не по решению владельца. С 1 июля 2025 года Cloudflare по умолчанию блокирует ИИ-краулеры на каждом новом домене. Управляемый robots.txt Cloudflare затронул 3,8 миллиона доменов, которые никогда не писали собственный robots.txt. Плагины рекламных сетей добавляют блоклисты. По данным HTTP Archive, которые опубликовал Крис Грин в LinkedIn, около 492 000 сайтов упоминают CCBot в robots.txt, и примерно 95% этих упоминаний существуют для блокировки.

Сколько из этих полумиллиона владельцев действительно хотели заблокировать CCBot? Вопрос открытый. Именно поэтому проверка нужна каждому, кто хочет, чтобы нейросети знали о его контенте.

Что понадобится

• Доступ к бесплатному инструменту Common Crawl Visibility Checker (без регистрации, работает в браузере)
• Домен вашего сайта или конкретный URL страницы для проверки
• Доступ к панели управления хостингом или Cloudflare (если потребуется исправить robots.txt)
• 10-15 минут на диагностику и исправление

Пошаговая инструкция

1. Откройте Common Crawl Visibility Checker и введите ваш домен. Инструмент работает с одним доменом за раз и берёт данные напрямую из архивов Common Crawl.

2. Изучите панель «Captures Per Crawl» (захваты по краулам). Она покажет, сколько ваших страниц попало в каждый из последних двенадцати ежемесячных краулов. Для крупных доменов инструмент даёт оценку (estimate), читая структуру индекса, а не считая каждую запись. Например, для wikipedia.org отображается примерно 3,7 миллиона страниц с пометкой «estimate».

3. Проверьте панель «Robots.txt History» (история robots.txt). Инструмент хранит копии robots.txt, которые Common Crawl считывал перед каждым краулом, и сравнивает правила для ИИ-краулеров месяц за месяцем. Если CCBot заблокирован, вы увидите дату начала блокировки.

4. Определите, чья это блокировка. Если блок совпадает с известным шаблоном, инструмент сообщит об этом. У управляемого robots.txt от Cloudflare есть характерный лицензионный комментарий, у Squarespace свой уникальный почерк. Если восемь и более токенов ИИ-краулеров заблокированы одним махом, скорее всего это плагин или скопированный список.

5. Посмотрите результат живой проверки (Live Probe). Инструмент запрашивает вашу главную страницу от имени CCBot/2.0, обычного браузера и контрольного бота. Это ловит блокировки, которых нет в robots.txt: файрвол, который отклоняет запрос по user-agent на уровне сети.

6. Изучите панель Sitemap Coverage (покрытие карты сайта). Инструмент скачивает вашу карту сайта и сравнивает с захваченными URL. Вы получаете рабочий список: какие страницы попали в архив, а какие нет. Недостающие страницы скачиваются как CSV.

7. Если обнаружена блокировка, исправьте её. Инструмент выдаёт карточки с конкретными действиями:

8. Блокировка шаблоном Cloudflare: указан путь в панели управления и предупреждение
9. Блокировка вручную: готовый двухстрочный фрагмент robots.txt с кнопкой копирования

10. Блокировка на уровне файрвола: название вендора и ссылки на опубликованные IP-диапазоны CCBot

11. Запомните дату следующего краула. Инструмент показывает её под карточками исправлений. Исправление, сделанное сегодня, отразится в данных следующего месяца.

12. Для проверки отдельной страницы вставьте полный URL вместо домена и получите историю этой страницы за год.

Что делать с этим прямо сейчас, по ролям

Автору Дзена и блогеру. Проверьте домен вашего основного сайта или портфолио. Если вы ведёте блог на собственном хостинге и хотите, чтобы ИИ-ассистенты ссылались на ваш контент, убедитесь, что CCBot не заблокирован. Для контента на платформах (Дзен, Medium) robots.txt контролирует платформа, но это повод задуматься о собственном домене.

Маркетологу и SEO-специалисту. Добавьте проверку видимости в Common Crawl к стандартному техническому аудиту. Если бренд клиента невидим для обучающих наборов, он невидим и для ответов нейросетей. Это параллельный канал «обнаружимости», который пока почти никто не отслеживает.

Владельцу бизнеса в РФ и СНГ. Инструмент работает с любым доменом, включая .ru и .рф. Из российских решений, связанных с ИИ-видимостью, пока нет прямых аналогов этого чекера. Проверка бесплатна и занимает минуты, при этом ответ на вопрос «знают ли нейросети о моём сайте» может оказаться неожиданным.