Google: robots.txt не запрещает обучение ИИ, строка про GPTBot не удалит скачанное

Ильес сослался на стандарт RFC 9309 (официальное описание того, как устроен robots.txt). По этому стандарту файл задаёт только предпочтения по доступу, то есть разрешает или не разрешает краулеру (роботу, который обходит сайт) скачать страницу. Что система потом делает с контентом, файл не решает.

Отсюда практический вывод: строка про GPTBot действует только на будущие обходы. Страницы, скачанные раньше, она не затрагивает, и из ответов ChatGPT сайт тоже не убирает. Ниже инструкция, как настроить robots txt под вашу задачу, с поправкой на российские сервисы.

Что понадобится для настройки?

• Доступ к корню своего сайта: хостинг, FTP или панель управления сайтом. Файл правит владелец домена.
• Любой текстовый редактор.
• Кабинет в Яндекс Вебмастере, чтобы проверить файл.
• Доступ к логам сервера (журналу всех обращений к сайту), если хотите видеть, какие роботы приходят на самом деле.

Пошаговая инструкция: роботы обучения отдельно, роботы ответов отдельно

1. Решите, что вам важнее. Закрыть роботов, которые собирают тексты для обучения, можно, если это важно бизнесу. Поисковых роботов ИИ-сервисов и тех, что приходят по запросу пользователя, обычно стоит оставить открытыми, иначе сайт потеряет место в ответах нейросетей.

2. Откройте файл robots.txt в корне сайта. Каждого робота закрывайте, указывая его токен, то есть имя в строке User-agent. Google поддерживает в файле только четыре директивы: User-Agent, Allow, Disallow и Sitemap. Всё остальное он пропускает.

3. Чтобы не попадать в обучение и остаться в ответах, добавьте такие строки:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

Первая группа просит не скачивать страницы для обучения роботов OpenAI, Anthropic, Common Crawl (открытого архива скачанных страниц) и Apple. Вторая группа нужна для наглядности: без запрета эти роботы и так допущены.

1. Отдельно решите вопрос с Google-Extended. У этого токена нет своего робота. Он определяет, пойдут ли страницы, обойдённые Google, в обучение будущих моделей Gemini и в grounding (подачу страницы ИИ-модели прямо во время ответа). На Поиск Google он не влияет, но запрет может стоить сайту места в ответах Gemini.

2. Настройте Яндекс. Чтобы страницы не попадали в быстрые ответы Алисы AI в поиске, Яндекс Вебмастер советует запретить YandexAdditional или YandexAdditionalBot. Изменение учитывается за срок от 2 до 14 дней. YandexBot не трогайте: по справочнику seodb, отдельного токена только для обучения у Яндекса нет, поэтому закрытый YandexBot уберёт сайт и из поиска, и из ИИ-ответов.

3. Если цель обратная и вы не хотите появляться в ответах нейросетей, используйте другой набор:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Disallow: /

Цена такого решения: сайт перестанет появляться в ответах этих сервисов.

1. Проверяйте логи сервера. Файл слушаются не все роботы, поэтому смотрите, кто на самом деле заходит на страницы.

Что делать автору, маркетологу и предпринимателю прямо сейчас?

Автору со своим сайтом: если важны переходы из ChatGPT и Claude, закрывайте только роботов обучения из шага 3. Канал на Дзене этим файлом не управляется, его правит владелец площадки.

Маркетологу: закладывайте в стратегию, что попадание в ИИ-ответы и участие в обучении настраиваются раздельно. Полный запрет почти всегда оборачивается потерей видимости, а тексты, скачанные раньше, всё равно остаются в обучающих данных.

Предпринимателю в России: из доступных у нас сервисов точечно управлять можно только Алисой AI через YandexAdditional. С GigaChat так не получится: Сбер, по наблюдению Флоустата на октябрь 2026 года, не публикует ни имени поискового робота, ни правил для robots.txt, поэтому указать этого робота в файле пока нельзя.

Решите один раз, что вам нужнее, обучение или ответы. Пять минут работы с файлом сберегут больше, чем запрет, который отрежет сайт от нейросетей и при этом не защитит уже скачанные тексты.