Каждый девятый сайт с robots.txt закрылся от Claude AI и выпал из его ответов

Robots.txt (файл в корне сайта, где владелец пишет роботам, куда им можно заходить) позволяет закрыть каждого бота Anthropic отдельно. По данным Crawl Readiness, из 569 сайтов, где такой файл есть, поискового бота Claude закрыли 63. Страница попадает в источники, только если её видит поисковик, через который ищет Claude, и если сайт пускает и поискового, и пользовательского ботов.

Коротко о главном

Что нового выяснилось про ботов Claude?

• Ботов три, задачи разные. ClaudeBot собирает тексты для обучения моделей, Claude-SearchBot наполняет поисковый индекс, Claude-User открывает страницу, когда пользователь сам дал ссылку. Anthropic называет такое чтение по ссылке web fetch.
• На видимость влияют только двое. ClaudeBot на попадание в ответы почти не влияет, поэтому для отказа от обучения хватает закрыть его одного.
• Claude ищет не всегда. В исследовании State of AEO 2026 (о том, как сайты попадают в ответы нейросетей) Джоша Блышкала и Джасмана Сингха Claude включил поиск в 36,6% случаев. Остальные ответы он даёт по памяти, и туда страница попасть не может.
• Поиск можно включить вручную. Anthropic советует добавить в вопрос фразу Search the web или Use web search («ищи в интернете»).
• Следы ведут к Brave Search, отдельной поисковой системе. Саймон Уиллисон заметил, что с 19 марта 2025 года Brave Search значится в Trust Center Anthropic (разделе о безопасности) как субпроцессор, то есть подрядчик, обрабатывающий данные.
• Цифры совпадения. Complete SEO сравнила выдачи на 1 481 запросе: 87,8% страниц, найденных Claude, стояли в первой десятке Brave и только 45,6% в первой десятке Google.

Самая показательная цифра касается 52 клиентов той же Complete SEO. Сайт с первого по третье место в Brave Claude цитировал в 92% ответов, сайт за пределами первых двадцати позиций только в 12%.

Как проверить, что Claude видит ваш сайт?

1. Откройте /robots.txt на основном домене и на каждом поддомене. Ищите общий запрет User-agent: * с Disallow: / и скопированные списки блокировки ИИ-ботов, где названы все три бота Anthropic.
2. Если хотите закрыться только от обучения, оставьте такой фрагмент:

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

1. Проверьте защиту сайта. WAF (фильтр запросов к сайту) и CDN (сеть, которая раздаёт сайт посетителям) блокируют ботов независимо от robots.txt. У Cloudflare есть готовое правило Block AI crawlers: если оно включено, добавьте исключения для Claude-SearchBot и Claude-User. Адреса ботов, по данным Crawl Readiness, опубликованы на официальном сайте Claude AI: claude.com/crawling/bots.json.
2. Найдите в логах сервера (журнале посещений) заходы Claude-SearchBot и Claude-User.

Блокировать ботов по IP-адресу Anthropic не советует: тогда они не прочитают robots.txt, и отказ может не сработать.

Совпадает ли это с YandexGPT и GigaChat?

Из доступных в РФ аналогов чаще всего называют YandexGPT и GigaChat. Как они выбирают источники, в исследованиях не разбирается, поэтому выводы про Brave на них переносить нельзя.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если у вас есть собственный сайт или блог, проверьте robots.txt за пять минут. По State of AEO 2026, подборки вроде «десять лучших сервисов» дали 36,4% источников Claude против 19,7% у ChatGPT.

Маркетологу. Позиции в ChatGPT ничего не говорят о Claude: общих доменов в источниках у двух нейросетей в среднем 8%. Форумы Claude почти не цитирует, у него их 0,9% против 15,8% у ChatGPT.

Предпринимателю. Откройте выдачу Brave по своим ключевым запросам. За пределами первых двадцати позиций, судя по цифрам Complete SEO, ссылки Claude ждать почти не приходится.

Частые вопросы

Нужно ли переписывать тексты под Claude?

Нет. Отдельная оптимизация контента под Claude не нужна: важно не закрыться по ошибке от двух ботов и попасть в индекс поисковика, через который он ищет.

Если закрыть ClaudeBot, сайт пропадёт из ответов?

Почти не повлияет. На видимость отвечают Claude-SearchBot и Claude-User, а ClaudeBot собирает тексты только для обучения.

Почему Claude не сослался на мою страницу?

Возможно, он ответил по памяти, без поиска: так происходит почти в двух случаях из трёх. Если поиск был, а ссылки нет, начните с robots.txt и позиции в Brave. Кто запретил всех ботов Anthropic разом, сам вычеркнул себя из источников Claude.