ChatGPT мониторинг бренда: три способа съёма дали всего 17 общих доменов из 68

Практик, который ведёт мониторинг видимости брендов в ответах нейросетей, провёл эксперимент для клиента: снял ответы ChatGPT на 20 одинаковых вопросах тремя разными способами за одну неделю. Результаты разошлись по всем параметрам: от частоты упоминания бренда до списка сайтов-источников. Ниже разбираю его метод по шагам, чтобы вы могли повторить chatgpt мониторинг самостоятельно и не наступить на грабли, которые обнаружились в ходе этого эксперимента.

Что понадобится

• 20 вопросов из вашей ниши. Формулировки от коммерческих («где заказать», «сколько стоит») до информационных («как сделать, чтобы нейросети рекомендовали мой бренд»). В 19 из них имя бренда не упоминается. Двадцатый вопрос брендовый и сравнительный: «бренд X или конкурент Y, кто лучше».
• Доступ к API OpenAI (программный интерфейс, через который код отправляет запрос и получает ответ в машиночитаемом виде). Подойдёт прямой доступ или платный шлюз-посредник с собственным балансом.
• Обычное окно чата ChatGPT для съёма через интерфейс. Можно снимать вручную или через сторонний сервис.
• Парсер (скрипт, который вытаскивает из текста ответа ссылки и имена брендов). Подойдёт собственный код на Python или готовый инструмент.
• JSON-лог для записи каждого ответа: текст, признак поиска, источники, отметки об упоминании бренда и конкурентов, дефекты записи.
• Список конкурентов. Автор эксперимента отбирал их по ответам Алисы AI и Perplexity.
• Время: один полный прогон занимает неделю, если снимать тремя способами с тремя повторами каждого вопроса.

Пошаговая инструкция

1. Составьте список из 20 вопросов. Формулируйте так, как спросил бы ваш потенциальный клиент. 19 вопросов без имени бренда, один сравнительный с именем. Запишите вопросы в отдельный файл, чтобы подавать одинаковый набор при каждом съёме.

2. Соберите список конкурентов. Задайте ваши вопросы Алисе AI и Perplexity, выпишите бренды, которые они называют чаще всего. Шесть конкурентов хватит для первого замера.

3. Первый съём: API с параметром поиска. Отправьте 20 вопросов через API с включённым параметром web_search_options. Каждый вопрос снимите трижды (три повтора). Запишите ответы в JSON-лог.

# Пример структуры запроса к API OpenAI (псевдокод)
{
  "model": "gpt-4o",
  "messages": [{"role": "user", "content": "ваш вопрос"}],
  "web_search_options": {"enable": true}
}

Учитывайте: при таком подключении модель сама решает, выходить ли в поиск, а по ответу не всегда видно, искала ли она. Источники могут присутствовать, но пометки об их происхождении не будет.

1. Второй съём: интерфейс ChatGPT. Откройте обычное окно чата и задайте те же 20 вопросов поштучно. Каждый вопрос в отдельном чате, чтобы контекст предыдущих ответов не влиял. Скопируйте полный текст ответа и список источников в лог.

2. Третий съём: API с поиском-инструментом. Если доступна модель с поиском, подключённым как инструмент (tool), вызов поиска и ссылки-аннотации придут отдельными полями ответа. Это позволяет точно отличить ответ из поиска от ответа по памяти модели. Снимите те же 20 вопросов трижды.

3. Прогоните парсер по всем логам. Парсер должен извлечь из каждого ответа: упоминания вашего бренда (да/нет), упоминания каждого конкурента, список доменов-источников, признак поиска (если доступен).

4. Посчитайте метрики.

5. Доля ответов с упоминанием бренда без подсказки (только по 19 небрендовым вопросам).

6. Доля вопросов, где бренд прозвучал хотя бы в одном повторе.
7. Количество уникальных доменов-источников по каждому способу.

8. Доля общих доменов между способами: общие домены делятся на все домены пары, суммарно по вопросам, где источники есть у обоих ответов.

9. Исключите служебные домены (google.com, openai.com, bing.com) одинаково из всех пар, чтобы сравнение было корректным.

Какие числа получились в эксперименте?

Бренд клиента без подсказки прозвучал в одном ответе из 57 (19 вопросов по три повтора), это менее 2%. По вопросам, один из 19: хотя бы раз бренд назван на одном вопросе. Данные одни и те же, а цифры отличаются в три раза в зависимости от единицы счёта.

Шесть конкурентов ChatGPT назвал лишь в 3 ответах из 43 в третьем съёме. Других игроков на коммерческих вопросах модель называет, но лог фиксирует только заранее выбранную шестёрку.

Общих доменов у интерфейса и API оказалось вдвое меньше, чем у двух повторов самого API: 11% против 23%. При этом сравнение нечистое: интерфейс и API отличались сразу тремя вещами: способом съёма, моделью и числом ответов на вопрос.

Внутри одного способа список источников тоже нестабилен. Даже у двух повторов одного съёма общих оказалось меньше половины доменов.

Что делать с результатами, по ролям?

Автору Дзена. Chatgpt мониторинг покажет, ссылается ли модель на ваши статьи. Если бренд не звучит ни в одном из 19 небрендовых вопросов, это сигнал: нужно писать материалы, которые отвечают именно на те формулировки, которые люди задают нейросетям. Начните с трёх коммерческих вопросов вашей ниши.

Маркетологу. Не доверяйте одному способу съёма. Интерфейс и API на одних вопросах дают 17 общих доменов из 49 и 68. Если ваш подрядчик мониторит видимость только через API, он видит другую картину, чем клиент в окне чата. Требуйте данные по обоим каналам.

Предпринимателю в РФ. Прямой API OpenAI из России недоступен без обходных решений, но шлюзы-посредники работают. Интерфейс ChatGPT доступен. Для сравнения полезно параллельно снимать ответы Алисы AI: в эксперименте ChatGPT и Алиса AI на коммерческих вопросах делили менее четверти доменов-источников, независимо от способа съёма.

Главное, что стоит забрать из этого разбора: прежде чем улучшать видимость бренда в ответах ChatGPT, убедитесь, что ваш способ замера не врёт вам больше, чем сама модель.