AI краулеры игнорируют ваш robots.txt: как открыть сайт для GPTBot и ClaudeBot в 2026

Типичная история из практики выглядит так. Сайт стоит в топ-3 Google, ссылки в порядке, индексация зелёная. Но в robots.txt для всех user-agent, кроме Googlebot и YandexBot, стоит запрет Disallow: /. Результат: GPTBot, ClaudeBot и PerplexityBot получают код 403 на первом же запросе. Полгода сайт невидим для трёх из четырёх крупных ИИ-поисковиков (систем, которые формируют ответ вместо привычной поисковой выдачи), и никто об этом не знает. Этот случай описан в источнике как типовой, и ниже разберём, как его не повторить.

Что понадобится

• Доступ к файлу robots.txt на сервере (или к панели хостинга, где его можно редактировать)
• Доступ к логам сервера (access.log) или панель хостинга с просмотром логов
• Терминал с командами grep и curl (подойдёт любой Linux/macOS; на Windows можно через WSL)
• Яндекс.Вебмастер для проверки видимости YandexBot и YandexAI
• 30 минут на первую проверку и правку, потом 10 минут раз в квартал

Пошаговая инструкция

1. Откройте текущий robots.txt вашего сайта. Просто зайдите на https://ваш-сайт.ru/robots.txt в браузере. Посмотрите, есть ли строки с Disallow: / для User-agent: * или для конкретных ботов. Если стоит общий запрет для всех, кроме Googlebot и YandexBot, AI краулеры уже заблокированы.

2. Проверьте логи сервера за последние две недели. Выполните команду, которая покажет, какие AI краулеры приходили и какой ответ получали:

grep -E "GPTBot|ClaudeBot|PerplexityBot|OAI-SearchBot" access.log | awk '{print $9}' | sort | uniq -c

Код 403 или редирект на страницу логина означают, что бот заблокирован.

1. Проверьте, что реально отдаёт сервер конкретному боту. Подставьте нужный user-agent (имя, под которым бот представляется серверу) в запрос через curl:

curl -A "GPTBot" -I https://example.com/page
curl -A "PerplexityBot" https://example.com/page | head -50

Если в ответе пустой div с классом root без текста, ваш контент рендерится (отрисовывается) клиентским JavaScript, и бот видит пустую страницу, даже если robots.txt открыт.

1. Добавьте в robots.txt разрешения для актуальных AI краулеров. Вот рабочий список на конец июля 2026 года:

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: GigaChat
Allow: /

User-agent: YandexAI
Allow: /

Закрывайте точечно только то, что не должно попадать в обучающие данные (обучающие данные, training data, это массив текстов, на котором модель учится): личный кабинет, черновики, служебные разделы.

1. Проверьте, не переименован ли бот. В 2026 году Google сменила user-agent NotebookLM на Google-GeminiNotebook. Об этом писал Search Engine Land. Если у вас в robots.txt или конфиге файервола (WAF, защитного экрана между сервером и интернетом) прописано старое имя NotebookLM, правило адресовано боту, которого под этим именем больше нет. Продублируйте строку на Google-GeminiNotebook до конца лета 2026 года.

2. Проверьте настройки CDN и WAF. Некоторые CDN (сети доставки контента, ускоряющие загрузку сайта) по умолчанию включают защиту от парсеров по эвристике на user-agent, и туда попадают легитимные AI краулеры вместе со спамом. Это правило живёт на уровне CDN, а не в robots.txt, поэтому при обычном SEO-аудите его никто не проверяет. Зайдите в панель CDN и убедитесь, что GPTBot, PerplexityBot, ClaudeBot не в чёрном списке.

3. Убедитесь, что контент доступен без JavaScript. AI краулеры реального времени (OAI-SearchBot, PerplexityBot, ChatGPT-User) не исполняют JavaScript как браузер. Они забирают HTML (код страницы, который сервер отдаёт первым), и если контент подгружается скриптом после загрузки страницы, модель видит пустой каркас. То же касается бесконечной прокрутки: карточки, которые появляются только при скролле и не лежат в исходном HTML или на постраничных URL, бот не увидит дальше первого экрана. Решение: серверный рендеринг (SSR) или хотя бы предварительная отрисовка (prerendering) для ботов.

4. Повторяйте проверку раз в квартал. Новые user-agent выходят без громких анонсов. Актуальные правила по каждому боту публикуют сами компании: OpenAI, Anthropic, Google.

Два типа AI краулеров: зачем это различать?

Путаница между типами ботов приводит к тому, что владельцы сайтов открывают доступ одним и забывают про других.

• Краулеры для обучения моделей: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl, открытый набор данных, на котором обучается часть открытых моделей). Собирают массив текста на будущее, заходят реже, результат не виден сразу.

• Краулеры реального времени: OAI-SearchBot, PerplexityBot, ChatGPT-User. Заходят на страницу в тот момент, когда пользователь задаёт вопрос модели, забирают контент и отдают его для формирования ответа здесь и сейчас. Нет доступа у такого бота, и модель либо не найдёт вашу страницу, либо процитирует конкурента с открытым доступом.

• Google-Extended стоит особняком: это отдельная директива для использования контента в Gemini и AI Overviews. Не путайте с обычным Googlebot: разрешение для Googlebot не распространяется на Google-Extended автоматически.

Что делать с этим прямо сейчас, по ролям

Автору Дзена и контент-мейкеру. Если у вас есть свой сайт, с которого вы хотите получать упоминания в ответах ChatGPT или Perplexity, проверьте robots.txt по списку выше. Контент, который лежит только на Дзене, зависит от настроек платформы, но если вы дублируете статьи на свой домен, доступ для AI краулеров полностью в ваших руках.

Маркетологу и SEO-специалисту. Добавьте проверку AI краулеров в стандартный чеклист аудита. Индексация в Google и Яндексе больше не означает видимость для ИИ-поисковиков. Отдельный пункт: проверка CDN и WAF, которые могут блокировать ботов независимо от robots.txt.

Предпринимателю в РФ и СНГ. Для Яндекса и Алисы AI актуальны YandexBot и YandexAI, проверяйте через Яндекс.Вебмастер. Для GigaChat от Сбера есть отдельный user-agent GigaChat. Остальные боты из списка (GPTBot, ClaudeBot, PerplexityBot) тоже заходят на российские сайты, если доступ не закрыт.

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

User-agent: YandexBot
Allow: /

Файл robots.txt перестал быть техническим артефактом, который трогают раз в жизни. В 2026 году это точка, где решается, увидит ли вас половина новой аудитории, та, что задаёт вопросы не поисковику, а модели.