ИИ-агенты OpenAI не открывают сайты даже с открытым robots.txt: что такое ИИ-агент

Механизм описал в авторской колонке консультант, который сопровождает международного издателя новостей и журналов. Обычно разговор о видимости в ИИ-поиске идёт вокруг цитирований, структуры текста и разрешений в robots.txt. Колонка показывает фильтр, который срабатывает раньше всех этих шагов.

Что такое ИИ-агент, если коротко: это программа на основе нейросети, которая сама выполняет действия в интернете. Она открывает страницы, читает их и собирает данные, как помощник, которому поручили сходить на сайт вместо вас.

Что нового?

• Есть центральная проверка безопасности. Перед тем как агент откроет ссылку, OpenAI проверяет домен по своему списку. В системах и коде компании проверка называется Aura. Это не тот проект Aura, которым раньше обозначали Atlas.
• Блок касается живых инструментов. Под запрет попадают Browser Use в Codex (функция, через которую агент сам управляет браузером) и живой поиск ChatGPT.
• Ваши настройки не учитываются. Проверка игнорирует локальные настройки пользователя и правила robots.txt.
• Краулеры здесь ни при чём. Краулер (робот, который обходит сайты) у OpenAI бывает трёх видов: GPTBot собирает данные для обучения моделей, OAI-SearchBot работает на поиск, ChatGPT-User выполняет прямые запросы пользователей. Проверка безопасности работает отдельно от них.
• Решение хранится сутки. Запрос уходит на адрес chatgpt.com/backend-api/aura/site_status. Если сайт отмечен как заблокированный, результат сохраняется на устройстве на 24 часа.
• Явный блок строгий. По словам инженеров OpenAI, при сбое сети во время проверки доступ по умолчанию разрешается. Явная блокировка отменяет даже разрешающие правила, которые администраторы компании настроили у себя.
• Причину узнать нельзя. В справке OpenAI сказано, что агентам могут закрывать сайты по соображениям безопасности и соблюдения требований, через глобальный список блокировок. Публичного способа узнать причину или запросить пересмотр нет.

Издатель с открытыми правилами неделями не открывался в ChatGPT

Издатель держал robots.txt полностью открытым и поддерживал инструменты OpenAI. Он даже провёл на платформе суточную рекламную кампанию, чтобы получить ещё один канал поддержки. Тем не менее с мая 2026 года ChatGPT раз за разом не загружал его страницы и выдавал общие ошибки.

Логи сервера (журнал, куда сайт записывает каждое обращение) не показали ни одного запроса от ChatGPT. Значит, отказ происходил на стороне OpenAI, а не на сайте. Тесты в Codex CLI (версия агента для командной строки) и в настольных приложениях дали прямое сообщение:

«Browser Use отклонил действие из-за политики безопасности браузера. Причина: политика безопасности сайтов блокирует это действие; запрос разрешения у пользователя и автопроверка не выполнялись. Использование браузера на [домен] запрещено.» : Системное сообщение Browser Use, перевод редакции

Агент к тому же запретил модели искать обходные пути. Проверка шла по одной переменной за раз:

• в той же сессии два прямых конкурента издателя загрузились без проблем;
• страница стороннего издания на технологии бренда, но на другом домене, открылась;
• в Chrome для бренда стояло разрешение «Всегда разрешать», блок остался;
• спустя недели все пять проверенных адресов (главная, поддомены, статьи) были закрыты.

При этом за последние 30 дней краулеры OpenAI для обучения успешно обратились к сайту около 5000 раз. Получается, что модели читали тексты издателя, а агенты открыть их не могли.

Почему домен попадает в список, неизвестно. Запросы к проверке передают вместе со ссылкой данные чата. Поэтому часть исследователей предполагает, что блок по всему сайту может случайно вызвать история промптов.

Как проверить свой сайт за четыре шага?

1. Попросите агента в ChatGPT или Codex открыть несколько страниц: главную, поддомен, конкретную статью.
2. Если пользуетесь ChatGPT в браузере, нажмите F12, откройте вкладку «Сеть» и поищите обращения к chatgpt.com/backend-api/aura/site_status. По словам автора колонки, проверка видна именно в сетевом трафике.
3. Сверьтесь с логами сервера. Если запросов от ChatGPT нет совсем, блок стоит до вашего сайта.
4. Для контроля откройте тем же агентом сайты конкурентов. Если они грузятся, а ваш нет, дело не в ваших настройках.

Есть ли такое у YandexGPT и GigaChat?

Колонка российские сервисы не рассматривает, поэтому сравнивать их по этому признаку не на чем. Из доступных в РФ аналогов это YandexGPT и GigaChat. Если ваши читатели работают через них, проверяйте доступ к сайту так же: просьбой открыть конкретную страницу.

Что делать с этим прямо сейчас, по ролям

Автору Дзена с собственным сайтом. Если вы отправляете читателей на блог или лендинг, раз в месяц проверяйте, открывает ли его ChatGPT. Сохраняйте снимок ошибки, если она появится.

Маркетологу. Аудит robots.txt для клиента больше не закрывает вопрос видимости в ИИ. Добавьте в чек-лист тест через агента и сравнение с конкурентами.

Предпринимателю в РФ и СНГ. Если клиенты ищут вас через ChatGPT, блок означает, что агент не порекомендует вашу страницу, потому что не может её прочитать. Документируйте отказ: публичной процедуры пересмотра пока нет.

Частые вопросы: почему агент не открывает сайт?

Robots.txt всё разрешает, почему агента не пускают?

Проверка безопасности OpenAI работает отдельно от robots.txt и игнорирует его. Даже разрешение «Всегда разрешать» в Chrome блок не снимает.

Можно ли снять блокировку?

Публичного способа запросить пересмотр нет. Решение хранится на устройстве 24 часа, но в описанном случае блок держался неделями.

Мои тексты при этом попадают в обучение моделей?

Скорее всего, да: краулеры работают отдельно. Сайт издателя за 30 дней принял около 5000 обращений краулеров OpenAI для обучения. Модели читают тексты, а агенты не пускают к ним пользователей, поэтому проверка сайта через агента нужна каждому, кто зарабатывает на трафике.