Google признала: robots.txt не защищает контент от обучения ИИ, а новый стандарт ещё не утверждён

Гэри Иллиес, сотрудник Google Search Relations и соавтор обновлённого черновика стандарта, объяснил ситуацию в видео серии The Non-Canonical Cabinet, опубликованном в среду. Его коллега Черри Проммавин дала отдельную рекомендацию по кодированию путей на нерусском и неанглийском языках. Видео вышло на канале Google Search Central и стало вторым эпизодом серии, где разбирают нетипичные вопросы от вебмастеров.

Что robots.txt умеет и чего не умеет?

• Robots.txt управляет доступом, а не использованием. По стандарту RFC 9309 файл robots.txt определяет, какие страницы робот может запросить. Что система делает с данными после сканирования, стандарт не регулирует.

• Выдуманные директивы игнорируются. В видео показали вымышленную строку вроде No-AI-Chicken-Training. Парсер (программа, которая читает robots.txt) такую строку просто пропустит. Google поддерживает только четыре элемента: User-Agent, Allow, Disallow и Sitemap.

• Чтобы заблокировать конкретного ИИ-робота, нужно указать его токен. Иллиес подчеркнул: если вы хотите не пустить определённого бота на весь сайт, пропишите его конкретный user-agent token (идентификатор робота) в файле robots.txt.

• Google-Extended не блокирует сканирование, а ограничивает использование. Это специальный токен Google без собственного робота. Он определяет, можно ли использовать уже просканированный контент для обучения будущих моделей Gemini (нейросеть Google) и для функции Grounding (привязка ответов ИИ к реальным источникам) в Gemini Apps и на платформе Vertex AI. На позиции сайта в поиске Google-Extended не влияет.

• Нестандартные пути лучше кодировать. Проммавин рекомендовала записывать пути с символами не из латиницы или с эмодзи в процентно-кодированном виде (percent-encoding). Google обрабатывает оба варианта одинаково, но другие роботы могут «споткнуться» на сырых символах.

Черновик нового стандарта: правило Content-Usage

Иллиес совместно с Мартином Томсоном из Mozilla написал черновик обновления стандарта RFC 9309 для рабочей группы IETF (организация, которая утверждает интернет-стандарты). Если его примут, в robots.txt появится новое правило Content-Usage и соответствующий HTTP-заголовок.

Allow и Disallow по-прежнему будут отвечать за доступ к страницам. Content-Usage добавит возможность указать, как разрешено использовать уже просканированный контент. В примере из черновика фигурирует метка train-ai=n, которая разрешает сканирование, но запрещает использование для обучения ИИ.

Черновик пока имеет статус Working Group Document. Рабочая группа планировала направить его на рецензию руководящей группе IETF (IESG) к августу 2026 года, но на момент публикации видео этого ещё не произошло. Отдельный словарный черновик с меткой train-ai датирован 14 сентября. В нём указано, что документ не отражает консенсуса внутри рабочей группы. Срок действия текущей версии черновика истекает 20 февраля 2027 года, если раньше не выйдет новая редакция.

Важный практический момент: прямо сейчас стандартного способа запретить обучение ИИ на вашем контенте, не блокируя при этом самих роботов, не существует. Google-Extended работает только для продуктов Google, а черновик Content-Usage ещё не утверждён.

Как настроить robots.txt для защиты от ИИ-ботов?

1. Определите, каких именно ботов вы хотите заблокировать. Список роботов Google с их user-agent токенами опубликован на странице Google Search Central. Для других компаний ищите аналогичные списки в их документации.

2. Пропишите Disallow для конкретного user-agent. Например, чтобы запретить доступ роботу, используемому для обучения, укажите его токен в файле robots.txt и задайте Disallow для нужных путей.

3. Добавьте Google-Extended, если хотите ограничить использование контента в Gemini. Этот токен не блокирует сканирование, но запрещает использование данных для обучения моделей Gemini и для Grounding. На индексацию в Google Search это не повлияет.

4. Закодируйте пути с кириллицей. Если URL вашего сайта содержат русские буквы или спецсимволы, запишите их в percent-encoded виде. Google поймёт оба варианта, но сторонние роботы могут неверно прочитать сырую кириллицу.

Как это выглядит для сайтов на русском языке?

В России и СНГ ситуация с ИИ-сканированием стоит иначе. Яндекс использует собственных роботов, и настройки robots.txt для них описаны в документации Яндекс Вебмастера. YandexGPT и GigaChat (от Сбера) на момент публикации не раскрывали отдельных user-agent токенов для ИИ-обучения, аналогичных Google-Extended.

Для авторов Дзена это означает: даже если вы настроите robots.txt идеально, это защитит контент только от тех ботов, чьи токены вы знаете и прописали. Универсального «выключателя» для всех ИИ-систем сразу пока нет ни в мире, ни в России.

Частые вопросы

Можно ли через robots.txt полностью запретить обучение ИИ на моём сайте?

Нет. По стандарту RFC 9309 файл robots.txt контролирует только доступ робота к страницам, а не дальнейшее использование данных. Вы можете заблокировать конкретного робота директивой Disallow, но если робот уже просканировал страницу, robots.txt не запрещает использовать эти данные. Отдельное правило Content-Usage, которое позволит выразить запрет на обучение, пока существует только как черновик и не утверждено.

Влияет ли Google-Extended на позиции сайта в поиске Google?

Нет. Согласно документации Google, токен Google-Extended не является сигналом ранжирования и не влияет на включение сайта в результаты поиска Google. Он ограничивает только использование контента для обучения моделей Gemini и для функции Grounding.

Нужно ли кодировать русскоязычные пути в robots.txt?

Да, это рекомендация Черри Проммавин из Google. Робот Google обрабатывает и сырые символы UTF-8, и их закодированные версии одинаково. Но другие роботы, особенно старые, могут неверно интерпретировать кириллицу. Percent-encoding (запись символов в виде %D0%90 вместо «А») считается безопасным способом для всех роботов.