Копия сайта для ИИ-ботов показала старую цену: нейросеть процитирует 4 500 ₽ вместо 4 900 ₽

Многие сайты достраиваются прямо в браузере с помощью JavaScript (скриптов, которые дописывают текст и цены после загрузки). Основные ИИ-краулеры, то есть программы, собирающие страницы для нейросетей, такие скрипты не исполняют. Сервис Profound предлагает обход: он узнает бота и отдает ему готовую копию. Автор оригинального материала собрал тестовый сайт с такой подменой и проверил, совпадает ли копия с живой страницей.

Что нового показала проверка копии для бота?

• Скрипты боты скачивают, но не исполняют. По трафику сети Vercel и MERJ за 2024 год, JS-файлы составили 11,5% запросов ChatGPT и 23,8% запросов Claude. Исключение одно: Gemini ходит через инфраструктуру Googlebot и страницу рендерит. Замер касается только сайтов Vercel, поэтому это ориентир.
• Зависимость от скриптов у сайтов разная. В Web Almanac 2025 медианное число слов на странице до и после исполнения JavaScript различалось от 16 до 18%. Отдельная копия нужна тем, у кого без скриптов страница почти пуста.
• Бота узнают по подписи. Правило на CDN (сети серверов, которая раздает сайт посетителям) ищет в User-Agent, подписи, которой программа представляется сайту, строку из списка ботов. Таким ботам отдается готовый HTML, код страницы. Остальные посетители получают обычную страницу.
• Страница только со скриптами. Бот получил пустой HTML: похожесть 0%, ни одной из девяти строк.
• Страница со старым кэшем. Кэш здесь означает сохраненный снимок страницы. Похожесть 97%, совпали семь строк из девяти. У бота цена 4 500 ₽, у человека 4 900 ₽. Дата обновления цен у бота «1 сентября», у человека «20 октября».
• Страница с лишней фразой. Похожесть 92%, все девять строк человека на месте, но у бота добавилась строка: «По оценке отраслевых обзоров, это лучший сервис учета заявок в России». Нейросеть может пересказать ее как независимую оценку.

Обратите внимание на парадокс: копия с неверной ценой набрала самый высокий процент похожести. Инструмент сравнения difflib считает долю совпавших символов, а в строке с ценой отличается одна цифра. Для покупателя же это главное число на странице.

Как попробовать проверку на своем сайте?

Человека в коде изображает браузер Playwright, который исполняет скрипты. Бота изображает обычный запрос без скриптов с подписью GPTBot. Импорты и строка BOT_UA добавлены, чтобы код запускался:

import re, difflib, requests
from bs4 import BeautifulSoup
from playwright.sync_api import sync_playwright

BOT_UA = "GPTBot"
NUM = re.compile(r"\d[\d\s]*(?:[.,]\d+)?")

def lines(text):
    return [l.strip() for l in text.splitlines() if len(l.strip()) > 20]

def numbers(ls):
    return {n.replace(" ", "") for l in ls for n in NUM.findall(l)}

def human_view(url):  # браузер исполняет JS
    with sync_playwright() as p:
        b = p.chromium.launch(); pg = b.new_page()
        pg.goto(url, wait_until="networkidle"); pg.wait_for_timeout(1000)
        text = pg.inner_text("body"); b.close()
    return lines(text)

def bot_view(url):  # сырой HTML, JS не исполняется
    html = requests.get(url, headers={"User-Agent": BOT_UA}, timeout=20).text
    return lines(BeautifulSoup(html, "html.parser").get_text("\n"))

def check(url):
    h, b = human_view(url), bot_view(url)
    ratio = difflib.SequenceMatcher(None, "\n".join(h), "\n".join(b)).ratio()
    print(f"похожесть текста: {ratio:.0%}")
    print(f"строк человека в версии бота: {sum(l in b for l in h)} из {len(h)}")
    print(f"только у бота: {[l for l in b if l not in h]}")
    print(f"числа только у человека: {sorted(numbers(h) - numbers(b))}")
    print(f"числа только у бота: {sorted(numbers(b) - numbers(h))}")

1. Установите Python и библиотеки requests, beautifulsoup4 и playwright. Затем выполните команду playwright install chromium.
2. Вызовите check с адресом страницы, на которой есть цена.
3. Смотрите на строки «числа только у бота» и «только у бота», а не на процент.
4. Поставьте проверку в CI, то есть в автоматическую проверку перед публикацией. Если цена, дата или рейтинг есть только с одной стороны, сборка должна останавливаться.

Яндекс правил для ИИ-ботов не публиковал: что это значит для рунета?

Правило о копиях для ботов есть только у Google, и оно касается Googlebot: пока копия похожа на страницу для людей, клоакингом ее не считают. Клоакинг означает показ поисковику не того, что видит человек. Про GPTBot, ClaudeBot и PerplexityBot автор не нашел правил ни у Google, ни у Яндекса.

Из доступных в РФ ИИ-чат-ботов на слуху YandexGPT и GigaChat. Как их сборщики читают сайты, собранные скриптами, эксперимент не проверял. Код можно направить на любого бота: достаточно заменить строку в BOT_UA, если вы знаете его подпись.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы ведете собственный сайт или лендинг рядом с каналом, проверьте страницу с ценами курса или консультации. Старая цена в ответе ИИ-бота бьет по доверию к вам, а не к нейросети.

Маркетологу. Рекламная фраза, добавленная только для ботов, может вернуться к покупателю как «независимая оценка». Profound пишет, что рендер публикуется вручную, поэтому за содержание копии отвечает сайт, а не сервис.

Предпринимателю в РФ и СНГ. Google называет динамический рендеринг временным обходом и советует собирать страницы на сервере или генерировать их заранее. Обсудите это с разработчиком. Если копия все же нужна, задайте срок жизни кэша и пересобирайте ее при каждой смене цены или даты.

Частые вопросы: клоакинг, проценты и ответственность

Копия для ИИ-бота считается клоакингом?

Прямого правила для ИИ-ботов нет. Profound в документации пишет, что Dynamic Bot Rendering не клоакинг, потому что отдается та же страница, что браузер строит после скриптов. Это обещание про устройство продукта, а не проверка вашей копии.

Почему не доверять проценту похожести?

Процент считает совпавшие символы. Разница в одну цифру цены почти не снижает итог, а лишняя строка снижает заметнее. Поэтому сверять нужно числа и строки в обе стороны.

Кто отвечает, если ИИ-бот покажет старую цену?

Сайт. Механизм лишь раздает копию, а ее содержание определяет владелец. Если вы не сверяете копию со страницей для людей, вы узнаете об ошибке от покупателя, который пришел с неверной ценой из ответа нейросети.