Markdown для ИИ запрашивают только SEO-тулы: Мюллер из Google проверил на своих сайтах

Тему поднял пользователь Reddit. Он уже конвертировал HTML-страницы в markdown и хотел понять, запрашивают ли крупные ИИ-боты этот формат. Автор вопроса рассчитывал хотя бы снизить нагрузку на сервер: markdown-файлы примерно втрое легче полных HTML-страниц.

Джон Мюллер, аналитик поисковой команды Google, ответил коротко: на его тестовых сайтах markdown запрашивали только SEO-инструменты, а не ИИ-поисковики.

На моих тестовых сайтах единственные краулеры, которые заявляют о поддержке markdown, это SEO-инструменты. : Джон Мюллер, Google

Мюллер добавил практический совет: прежде чем генерировать markdown-версии страниц, стоит настроить логирование заголовков запросов на сервере и проверить, запрашивает ли кто-то этот формат в реальности.

Почему markdown пока не даёт преимуществ в ИИ-поиске?

Markdown (язык разметки, где текст размечается простыми символами вроде решёток и звёздочек вместо HTML-тегов) убирает из страницы JavaScript, CSS и всё, что нужно для визуального отображения в браузере. Идея в том, что ИИ-ботам проще «переварить» чистый текст.

Но все крупные ИИ-системы давно умеют обрабатывать обычный HTML. Эта задача решена больше тридцати лет назад, и отдельная markdown-версия страницы им не нужна.

Есть и проблема доверия. В статье-источнике markdown-файлы сравниваются с мета-тегом keywords, который когда-то забивали ключевыми словами и опечатками. ИИ-компаниям выгоднее скачивать то, что видит пользователь, а не специальный контент, подготовленный для бота: его слишком легко набить нерелевантной информацией.

Cloudflare продвигает markdown, но спрос не подтверждён

Cloudflare (крупный сервис защиты и ускорения сайтов) предлагает автоматическую конвертацию HTML в markdown «на лету», когда ИИ-агент запрашивает страницу. Компания называет markdown «lingua franca для агентов и ИИ-систем».

Однако, как отмечает автор оригинального материала, если бы спрос на markdown со стороны ИИ-ботов действительно был массовым, дискуссия на Reddit была бы полна историй успеха. Их нет.

Где markdown действительно работает?

Markdown полезен не для ранжирования, а для инструкций ИИ-агентам (ИИ-агент, это программа, которая сама выполняет задачи по заданным правилам).

• OpenAI Codex читает файл AGENTS.md перед началом работы. Туда разработчик кладёт контекст проекта и правила, и агент следует им автоматически.
• Anthropic Claude тоже использует markdown как формат для пользовательских инструкций.

То есть markdown для ИИ полезен как способ дать машине чёткие указания, но не как способ продвинуть сайт в ИИ-поиске.

Что нового

• Джон Мюллер из Google подтвердил: на его тестовых сайтах markdown запрашивают только SEO-инструменты, не ИИ-боты.
• Нет ни одного подтверждённого случая, когда markdown-версия страницы улучшила цитирование в ИИ-поиске.
• Cloudflare предлагает автоматическую конвертацию, но реальный спрос со стороны ИИ-ботов не доказан.
• Markdown остаётся рабочим форматом для инструкций ИИ-агентам (AGENTS.md в OpenAI Codex, инструкции для Claude).

Как проверить, нужен ли markdown вашему сайту?

1. Настройте на сервере логирование заголовка Accept в HTTP-запросах. Мюллер отмечает, что стандартные настройки серверов этот заголовок не записывают.
2. Подождите одну-две недели и проверьте логи: запрашивает ли кто-то формат text/markdown.
3. Если запросов нет, генерировать markdown-версии страниц бессмысленно. Если есть, посмотрите, от кого они идут: от ИИ-бота или от SEO-инструмента.

Сравнение с ситуацией в Рунете

В российском сегменте ИИ-поиск представлен нейросетевыми ответами Яндекса и чат-ботами YandexGPT и GigaChat. Ни Яндекс, ни Сбер не публиковали рекомендаций подавать контент в markdown. Боты Яндекса индексируют стандартный HTML.

Для авторов из РФ и СНГ вывод тот же: переделывать контент под markdown для ИИ-ботов пока не нужно. Лучше сосредоточиться на качестве самого текста и его структуре в обычном HTML.

Что делать прямо сейчас, по ролям

• Автору Дзена. Markdown для ИИ не влияет на продвижение ваших статей. Дзен и Яндекс работают с обычным HTML. Пишите структурированные тексты с подзаголовками и списками, это и так помогает и людям, и ботам.

• SEO-специалисту. Не тратьте время на генерацию markdown-версий страниц. Совет Мюллера конкретен: сначала проверьте логи. Если ИИ-боты не запрашивают markdown, работа впустую.

• Предпринимателю. Если подрядчик предлагает «оптимизацию под ИИ-поиск через markdown», попросите данные: какие боты запрашивают этот формат на вашем сайте. Скорее всего, никакие.

Частые вопросы

Поможет ли markdown для ИИ получить больше трафика из ChatGPT или Gemini?

По имеющимся данным, нет. Джон Мюллер из Google говорит, что ИИ-боты не запрашивают markdown на его тестовых сайтах. Все крупные ИИ-системы обрабатывают стандартный HTML без проблем, отдельная markdown-версия им не нужна.

Зачем тогда Cloudflare предлагает конвертацию в markdown?

Cloudflare позиционирует markdown как удобный формат для ИИ-агентов и автоматически конвертирует HTML, когда бот запрашивает text/markdown. Но массового спроса на эту функцию со стороны ИИ-ботов пока не зафиксировано.

Стоит ли использовать файл AGENTS.md на своём сайте?

AGENTS.md предназначен для разработчиков, которые используют OpenAI Codex. Этот файл содержит инструкции для ИИ-агента по конкретному проекту. Если вы не работаете с Codex или аналогичными инструментами, AGENTS.md вам пока не нужен.