Крупнейшие ИИ-компании поддержали новый способ отказаться от скрейпинга: одна метка на всех

Крупнейшие имена в ИИ поддерживают новый способ отказаться от скрейпинга (автоматического копирования текстов с сайтов программами-роботами), сообщил сайт Search Engine Roundtable. Сейчас владелец сайта сообщает свои предпочтения каждой ИИ-компании по отдельности, новый сигнал сводит это к одной записи.

Файл robots.txt давно служит сайтам инструкцией для роботов: кому можно заходить и собирать страницы, а кому нет. Речь идёт о поисковой индексации, архивировании и обучении ИИ.

Что нового в правилах для сайтов?

• Общая метка, «токен политики» (policy token), будет записываться внутри robots.txt. Её предложил Кевин Келли, технический руководитель по стандартам в Anthropic, через IETF (Internet Engineering Task Force, международную группу, где согласуют технические стандарты интернета).
• Если ИИ-краулер (программа, которая обходит сайты и собирает тексты для нейросети) OpenAI, Google, Microsoft или Anthropic встретит эту метку, он не станет заходить на сайт.
• Microsoft обещает раздельные настройки. Можно будет отказаться от обучения ИИ или от «заземления» (grounding, когда модель сверяет ответ с проверенным источником, чтобы реже выдавать галлюцинации, то есть уверенно выдуманные сведения).
• При любых настройках сайт останется в выдаче Bing, поисковика Microsoft.
• У Google похожие настройки уже есть. С их помощью сайт решает, попадать ли ему в ИИ-функции поиска и в обучение, и это не влияет на видимость в обычном поиске.

Сигнал предложил сотрудник Anthropic, и пока из четвёрки только Anthropic внедрила его на практике. Остальные три компании дали обещания со сроками.

Meta тоже высказалась в поддержку, но не сообщила, будут ли её роботы соблюдать метку.

Мы считаем, что создание общего сигнала, который передаёт такие предпочтения сразу нескольким поставщикам, это важный шаг. : Энди Стоун, глава коммуникаций Meta

Стоун добавил, что Meta рассчитывает работать с другими ИИ-компаниями над стандартами и их внедрением в отрасли. Параллельно рынок пробует другие способы защиты. Стандарт Really Simple Licensing (RSL) позволяет издателям брать плату с роботов, которые заходят на сайт, а сервис Cloudflare блокирует ИИ-краулеры по умолчанию.

Как подключить запрет на своём сайте?

1. Выясните, кто правит файл robots.txt вашего сайта: вы сами, ваш разработчик или платформа, на которой сайт размещён.
2. Решите, от чего вы отказываетесь: только от обучения моделей или ещё и от использования ваших текстов в ответах ИИ. У Microsoft эти варианты будут раздельными.
3. Следите за документами IETF и справкой компаний, где появится точная строка для файла.
4. Пока общей метки нет, задавайте настройки для каждой компании отдельно, как это делается сейчас.

Есть ли такой стандарт у российских нейросетей?

Яндекса и Сбера, разработчиков YandexGPT и GigaChat, в списке поддержавших нет, и их позицию источник не приводит. Поэтому оснований считать, что общая метка остановит российских роботов, пока нет.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Файлом robots.txt площадки управляет её владелец, а не вы. Метка пригодится для вашего собственного сайта или блога, если он у вас есть.

Маркетологу. Отказ от обучения не уберёт сайт из Bing, у Google поиск тоже отделён от ИИ-настроек. Если вам нужно, чтобы ИИ-ассистенты ссылались на бренд, не закрывайте «заземление» вместе с обучением.

Предпринимателю РФ и СНГ. Для правки robots.txt не нужен зарубежный аккаунт или подписка, это файл на вашем сервере. Но метка ограничит только тех, кто обещал её соблюдать, а российских компаний среди них нет.

Частые вопросы

Сайт пропадёт из поиска, если запретить обучение ИИ?

По заявлению Microsoft, сайт останется в выдаче Bing при любых настройках. Google уже даёт закрыть контент от ИИ-функций и обучения, не теряя видимости в обычном поиске.

Можно ли брать деньги с ИИ-роботов вместо запрета?

Для этого существует стандарт RSL, он позволяет выставлять роботам плату за доступ. Общая метка решает другую задачу: она передаёт отказ от обучения сразу нескольким компаниям.

Когда всё заработает?

Anthropic уже поддерживает сигнал, OpenAI обещает «ближайшие месяцы», Google и Microsoft ориентируются на следующий год. Тем, кто решит заранее, хватит одной правки файла в день запуска.