Что такое ИИ-агент от Meta и OpenAI: боты ходят по сайтам, а robots.txt их не видит

Что такое ИИ-агент в этом контексте? Это программа, которая получает от человека задачу, например «купи кроссовки определённой марки», сама открывает браузер, ищет товар, сравнивает варианты, заполняет форму и оформляет заказ. Человек не касается ни одного сайта. Именно так работают Muse (Meta) и Dots (OpenAI), два агента, документация которых впервые позволяет разобрать механику по винтикам.

Подробный технический разбор опубликовал Адам Гент на Search Engine Land. Meta раскрыла архитектуру Muse детально, OpenAI сообщила о Dots значительно меньше, поэтому основная часть анализа построена на документации Meta, а данные по Dots приводятся там, где OpenAI дала публичные комментарии.

Как агенты попадают на сайт: два уровня доступа

Muse и Dots работают через два канала, и это принципиально для понимания того, что такое ИИ-агент нового типа.

Коннектор (прямая интеграция). Бизнес подключает свой API (интерфейс для программного обмена данными), агент получает доступ к каталогу, ценам, остаткам и оформлению заказа напрямую. Meta сообщает, что «тесно сотрудничала с провайдерами для интеграции их API». OpenAI заявляет о совместимости с более чем 4 000 приложений через плагины, и любой бизнес может создать свой и отправить на проверку OpenAI.

Облачный браузер (все остальные). Агент открывает полноценный браузер на удалённом сервере и заходит на сайт, как обычный посетитель. Meta описывает это как «реальный, актуальный браузер на базе Chromium, работающий на выделенном защищённом компьютере». OpenAI говорит, что Dots «могут делать почти что угодно, используя свой облачный компьютер, свой браузер и подключённые вами приложения».

Если магазин работает на Shopify, платформа решает за него. Настройка по умолчанию, «Разрешить Shopify управлять за меня», автоматически подключает магазин к агентным каналам продаж. Meta получает товары «по умолчанию через Shopify Catalog».

Магазин на собственной платформе попадает в браузерный уровень, если не построит коннектор самостоятельно.

Почему robots.txt бесполезен против этих агентов?

Файл robots.txt (текстовый файл, в котором сайт указывает поисковым роботам, какие страницы можно сканировать, а какие нет) работает по принципу «назови себя, и я решу, пускать ли тебя». Ни Meta, ни OpenAI не опубликовали пользовательское имя (user-agent) для браузеров Muse и Dots.

На странице Meta для владельцев сайтов перечислены пять краулеров. Muse среди них нет. На странице OpenAI перечислены четыре краулера. Dots среди них тоже нет.

Meta прямо описывает, что видит сайт при визите Muse: «Когда Muse просматривает интернет, это выглядит как ваша активность, поэтому если вы попросите Muse купить рубашку у дизайнера, этот дизайнер может использовать ваш визит, чтобы показать вам рекламу в Instagram».

Адам Гент сравнивает это с героем фильма «Поймай меня, если сможешь»: Фрэнк Эбигнейл ходил по аэропортам в форме пилота, и никто не проверял, умеет ли он летать, потому что форма была правильной. Muse заходит на сайт в «форме» вашего клиента. Robots.txt всегда работал только с именами, а этот посетитель имени не даёт.

Сам стандарт robots.txt, как напоминает автор, содержит оговорку: его правила «не являются формой авторизации доступа», и краулер следует им только если его оператор решит так поступить.

Что остаётся рабочим для SEO?

Агент попадает на сайт так же, как человек: по названию бренда или через поиск. Ни Meta, ни OpenAI не сообщают, какую поисковую систему использует их агент, но ранжирование по-прежнему определяет, какой сайт он найдёт.

После того как агент оказался на странице, структура страницы решает, сможет ли он прочитать контент, взаимодействовать с ним и выполнить задачу. Заголовки, текст ссылок, alt-тексты изображений и факты в видимом тексте остаются теми ориентирами, которые агент использует.

Часть, связанная с завершением покупки, именованные кнопки, подписанные поля форм, поток оформления заказа, всегда была зоной ответственности фронтенд-разработчиков, а не SEO-специалистов.

Аналитика ломается: агент невидим или неотличим

Для маркетологов ключевая проблема в атрибуции (определении, откуда пришёл покупатель). Системы аналитики считают, что посетитель и покупатель это одно и то же лицо.

• Когда агент заходит через браузер, аналитика сайта с высокой вероятностью запишет его как вашего обычного клиента.
• Когда агент покупает через коннектор, аналитика сайта не увидит ничего: заказ появится только в записях торговой платформы.

Как заблокировал Muse Amazon? Не через robots.txt. Через «Условия использования», юридический договор, который принимает каждый покупатель. Как сообщил GeekWire, Amazon назвал три причины: Meta не предупредила о визитах Muse, агент не представляется при входе, и действия выполняются автоматически.

Что это значит для вас?

Авторам Дзена и контент-маркетологам. Если вы продвигаете товары или услуги через контент, структура страницы становится критически важной не только для поисковиков, но и для агентов, которые будут «читать» ваши тексты вместо людей. Чёткие заголовки, понятные описания товаров, подписанные изображения работают и на поиск, и на агента. Начните проверять, как ваш сайт выглядит для автоматического посетителя: все ли кнопки подписаны, все ли формы размечены.

Маркетологам. Ваши отчёты по атрибуции уже могут содержать «призрачные» визиты агентов, которых вы считаете живыми людьми. Проверьте, есть ли расхождение между визитами в аналитике и заказами в платформе. Если продаёте через Shopify, проверьте настройку «Allow Shopify to manage for me»: возможно, ваш каталог уже передаётся Meta без вашего ведома.

Предпринимателям в РФ и СНГ. Muse доступен пока только в США и Канаде, Dots привязаны к экосистеме ChatGPT. В России прямых аналогов пока нет: YandexGPT и GigaChat не предлагают агентного браузера с покупками. Но логика распространения та же, что была с мобильным трафиком: в 2010 году доля компьютеров в мировом веб-трафике составляла 98 %, по данным StatCounter к 2026 году она упала ниже половины. Агентный трафик может повторить этот путь. Готовить структуру сайта стоит уже сейчас.

По данным Search Engine Land