Оптимизация сайта под нейросети начинается с сервера: без SSR краулер получает пустую страницу

Оптимизация сайта под нейросети до сих пор воспринималась многими как «переписать тексты и добавить FAQ». На практике, как показывает разбор, проблема чаще лежит глубже: часть ИИ-краулеров не исполняет JavaScript, а значит, для сайта на клиентском рендеринге (CSR, когда содержимое страницы собирает браузер пользователя, а не сервер) нейросеть получает пустой файл вместо контента. Источник, опубликовавший материал, прогнал собственный сайт через запросы к разным моделям и убедился: пользователь видит красивую страницу, а краулер не видит ничего.

Нейросеть не заходит на сайт как человек?

• Retrieval-слой вместо просмотра страницы. Модель не «читает» сайт, как браузер. Перед генерацией ответа отдельный поисковый слой (retrieval) находит документы по теме, нарезает их на фрагменты и отбирает релевантные. Критерий попадания в ответ не позиция в выдаче, а пригодность страницы к извлечению цитируемых кусков.
• Разные роботы ведут себя по-разному. За OpenAI ходят GPTBot и OAI-SearchBot, за Anthropic работает ClaudeBot, есть PerplexityBot и роботы Яндекса, обслуживающие Алису и режим «Нейро». Не все из них умеют исполнять JavaScript.
• Три слоя потерь, порядок починки важен. Контент теряется на трёх уровнях, и чинить их нужно строго по очереди: сначала доступ (пускает ли сервер краулера), потом рендеринг (есть ли текст в HTML), потом сигналы (разметка и формат). Полировать тексты, которые до модели не доезжают, бессмысленно.

Доступ: что проверить первым?

• robots.txt. При обновлении CMS в файл могли попасть директивы, блокирующие новых ботов. Отдельный нюанс: закрытие GPTBot не обеспечивает защиту контента от обучения (провайдеры предупреждают, что роботы, действующие по прямому запросу пользователя, могут не подчиняться robots.txt), зато гарантированно убирает сайт из ответов.
• WAF и защита от ботов. Фаервол может отдавать 403 или капчу по user-agent, отсекая краулеров ИИ вместе со спамом.
• Логи сервера. Если в логах нет визитов от GPTBot или ClaudeBot, до сайта они либо не дошли, либо их отсекли на входе.

Рендеринг: пустой каркас убивает видимость

Оптимизация сайта под нейросети буквально начинается с проверки: откройте исходный код страницы в браузере (не инспектор элементов, а именно исходник ответа сервера) и поищите там текст, который хотите видеть в ответах моделей. Нет текста в исходнике, нет его и у нейросети.

Клиентский рендеринг (CSR) привычен для одностраничных приложений на React, Vue или Angular: сервер отдаёт скелет и скрипты, а браузер подставляет контент. Для бота без JavaScript такая страница выглядит как пустая заготовка.

Серверный рендеринг (SSR), статическая генерация (SSG) и инкрементальная статическая регенерация (ISR, когда статика обновляется по мере необходимости) отдают текст уже внутри HTML. Полностью менять стек не обязательно: достаточно пререндерить критичные данные: цены, контакты, ключевые описания. Всё, что нейросеть должна уметь процитировать, должно быть в исходном HTML.

llms.txt: новый файл, который объясняет сайт модели

Файл llms.txt часто путают с robots.txt и sitemap.xml. Разница принципиальная:

• robots.txt управляет доступом (кого пускать, кого нет).
• sitemap.xml перечисляет URL для индексации.
• llms.txt объясняет смысл сайта: что за проект, какие разделы главные, что цитировать в первую очередь. Это markdown-файл в корне сайта с краткой картой ключевых страниц.

Стандарт появился в сентябре 2024 года, а 10 августа 2026 года получил вторую версию спецификации. Свои llms.txt уже публикуют Anthropic, OpenAI, Perplexity и Cloudflare.

Как попробовать?

1. Проверьте доступ. Откройте robots.txt вашего сайта и убедитесь, что GPTBot, ClaudeBot, PerplexityBot и роботы Яндекса не заблокированы. Посмотрите логи сервера: есть ли их визиты.
2. Проверьте рендеринг. В браузере откройте «Просмотр исходного кода страницы» (Ctrl+U) на любой важной странице. Если текста нет, значит, он подгружается JavaScript и краулеры его не получают. Решение: настроить серверный рендеринг или пререндеринг хотя бы для ключевых страниц.
3. Создайте llms.txt. Положите в корень сайта markdown-файл с кратким описанием проекта и ссылками на главные разделы. Расширенную версию (llms-full.txt) используйте для более полного содержания.
4. Проверьте через Яндекс. Российские роботы (Алиса, режим «Нейро») обходят сайты по собственным правилам. Задайте Алисе или «Нейро» вопрос о вашей компании и посмотрите, что она знает. Это быстрый способ увидеть, доходит ли контент до российских моделей.

Россия: Яндекс «Нейро» и Алиса как тест-полигон

В оригинальном разборе упоминаются роботы Яндекса, обслуживающие Алису и режим «Нейро», но без детальной инструкции по проверке. Для российского рынка это критически важный тест.

Если вы работаете на российский рынок, начните проверку именно с Яндекса: он ваш главный источник трафика, и его роботы первые, чьё поведение стоит отследить в логах.

Частые вопросы

Нейросеть берёт информацию прямо с моего сайта в момент вопроса?

Нет. Модель не «заходит» на сайт, как человек в браузере. Перед генерацией ответа retrieval-слой (поисковый пайплайн, который находит и нарезает документы) отбирает фрагменты из уже собранной базы. Если краулер не смог прочитать вашу страницу, в базе её нет, и модели нечего цитировать.

Закрыть GPTBot в robots.txt значит защитить контент от обучения?

Не совсем. Провайдеры предупреждают, что роботы, действующие по прямому запросу пользователя, могут не подчиняться robots.txt. Закрытие не даёт надёжной защиты от обучения, зато гарантированно убирает сайт из ответов модели.

Обязательно ли переделывать весь сайт с клиентского рендеринга на серверный?

Нет. Достаточно пререндерить критичные данные: цены, контакты, описания услуг, ключевые абзацы. Всё, что нейросеть должна уметь процитировать, должно лежать в исходном HTML. Остальное может подгружаться скриптами, как раньше.

Если вы слышали фразу «спросил у ChatGPT про вашу компанию, он назвал трёх конкурентов», начните не с текстов, а с Ctrl+U. Пустой исходник означает, что для нейросети вашего сайта просто не существует, и никакой контент-план это не исправит, пока сервер не начнёт отдавать HTML с текстом.