ChatGPT и другие ИИ за сутки теряют до 83% ссылок: как измерять видимость в нейросетях

Раньше многие проверяли видимость бренда так: задали вопрос, увидели ссылку, записали «есть». По данным Ahrefs, около трёх четвертей пропавших ссылок возвращаются в течение 20 дней, поэтому разовый замер показывает шум. Ниже разбор метода с формулой, кодом и готовыми порогами: сколько ответов собирать и когда бить тревогу.

Сломалось ли что-то на сайте, если ссылка пропала?

Скорее всего, нет. Ahrefs 20 дней ежедневно отслеживал примерно 37 500 цитат в пяти ИИ-сервисах. Цитата здесь, это ссылка на сайт-источник под ответом нейросети.

Часть причин известна. По справке OpenAI, при поиске в интернете ChatGPT переписывает вопрос пользователя в один или несколько поисковых запросов. В исследовании Ahrefs ChatGPT повторял ровно те же поиски, что накануне, только в 26% случаев.

На поиск влияет и память ChatGPT (функция, при которой сервис запоминает данные о пользователе). Из-за неё запрос у двух аккаунтов может отличаться. Выдача Google тоже зависит от местоположения, языка и устройства. По оценке Ahrefs, смена запросов объясняет только часть пропаж, остальное остаётся без объяснения.

Если ссылка пропала, начните с простого: проверьте доступность сайта, свежие правки и страницы, закрытые от поисковых роботов.

Что понадобится для замеров?

• Список вопросов, по которым вы хотите видеть свой сайт в ответах.
• Таблица для записи: дата замера, вопрос, есть ли ссылка, есть ли упоминание бренда.
• Неизменные условия: один аккаунт с одинаковыми настройками памяти и один регион.
• Короткий код на Python для расчёта интервала (ниже) или любой онлайн-калькулятор интервала Уилсона.
• Около четырёх недель, чтобы набрать первую надёжную цифру.

Как считать видимость шаг за шагом?

1. Задайте один и тот же вопрос 10 раз за один замер.
2. Посчитайте долю: в скольких ответах (k) из всех (n) есть ссылка на сайт. Видимость равна k / n. Peec AI считает так же, только по упоминаниям бренда, и задаёт нейросетям одни и те же вопросы каждый день.
3. Отдельно посчитайте долю упоминаний бренда. У Google-инструментов и ChatGPT в 12–16% случаев ссылка пропадала, а упоминание оставалось, в 9–12% выходило наоборот.
4. Добавьте к доле доверительный интервал. Это диапазон, в котором настоящая доля лежит с уверенностью 95%. Формулу Уилсона берут потому, что при малом числе ответов обычная формула выходит за пределы от 0 до 100%.
5. Повторяйте замер раз в неделю и складывайте четыре последних замера, это 40 ответов.

from math import sqrt

# Доля появлений k/n и 95%-й интервал Уилсона
# z = 1.96 соответствует уверенности 95%
def share(k, n, z=1.96):
    p = k / n
    d = 1 + z**2 / n
    c = (p + z**2 / (2 * n)) / d
    h = z * sqrt(p * (1 - p) / n + z**2 / (4 * n**2)) / d
    return p, max(0, c - h), min(1, c + h)

share(3, 10)  # 30%, интервал от 11 до 60%

Чем больше ответов, тем уже интервал. При доле 30% он такой:

• 10 ответов: от 11 до 60%;
• 20 ответов: от 15 до 52%;
• 40 ответов: от 18 до 45%.

Ahrefs предлагает похожий подсчёт по дням: в скольких из последних семи дней сайт был процитирован. Это та же доля при n = 7, и интервал по семи точкам шире, чем по десяти.

Два замера подряд дают сигнал, три недели дают потерю

Сайт можно считать пропавшим только после двух замеров подряд. Сложите последние 20 ответов в одну долю и сравните с интервалом по четырём предыдущим замерам.

Пример из исходного материала: прежде было 30% (от 18 до 45%), а в двух замерах подряд 0 из 20, это интервал от 0 до 16%. Он ниже 18%, значит пора искать причину на сайте. А 2 из 20 дают 10% с интервалом от 3 до 30%. Он пересекается с прежним, и сигнала нет.

О потере говорят после трёх недель без возврата. По Ahrefs, цитата, которая держалась 8 дней и больше, возвращалась в 96–99% случаев. Новые цитаты хрупкие: около 70% пропали на следующий день, вернулись только от 34 до 45% из них.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Выберите 3–5 вопросов по теме канала и раз в неделю задавайте каждый 10 раз. Так вы увидите, цитирует ли нейросеть ваши материалы, без паники из-за одного пустого ответа.

Маркетологу. Показывайте клиенту долю за четыре замера с интервалом и динамику по месяцам, например «30% (от 18 до 45%), месяц назад 20% (от 11 до 35%)». Одна плохая неделя весит в такой цифре четверть, и вопрос «почему нас не было» перестаёт быть катастрофой.

Предпринимателю. Формула не привязана к конкретному сервису, долю появлений можно считать вручную по любой нейросети. Из доступных в РФ аналогов это YandexGPT и GigaChat.

Начните с одного вопроса и десяти повторов на этой неделе: через месяц у вас будет первая цифра, за которую не стыдно перед клиентом.