AI-отчёты в Google Search Console: что они показывают и где слепые зоны

До этого обновления клики из генеративных блоков Google были растворены в общем веб-отчёте, и отделить ИИ-переходы от обычной выдачи было невозможно. Теперь разбивка появилась, но охватывает только экосистему Google. Автор оригинальной инструкции протестировал новый отчёт и собрал рабочий способ закрыть слепые зоны через разбор серверных логов. Ниже пошаговый план, как это сделать.

Что понадобится?

• Подтверждённый доступ к Google Search Console для вашего сайта
• Доступ к серверным логам (access log nginx, Apache или аналогичного веб-сервера)
• Python 3 любой версии (скрипт работает без сторонних библиотек)
• 30 минут на первую настройку, затем 10 минут в неделю на снятие сводки

Три слепые зоны, которые стоит знать до старта

Зона 1. Google Search Console по определению не видит обращения из чужих экосистем. ChatGPT с веб-поиском, Perplexity, Claude, нейропоиск Алисы проходят мимо отчёта.

Зона 2. Когда пользователь переходит из ответа ChatGPT или ассистента, браузер часто не передаёт корректный referrer (заголовок, по которому аналитика определяет, откуда пришёл визит). Такой визит падает в «прямые заходы» или теряется. Google Search Console здесь не помощник, а обычная веб-аналитика недосчитывает.

Зона 3. Отчёт покажет, что вы участвовали в показе, но не покажет, процитировали ли вас в самом ИИ-ответе и с какой формулировкой.

Пошаговая инструкция

1. Откройте Google Search Console и перейдите в раздел «Эффективность» (Performance). Найдите новую разбивку по типам поверхностей: AI Overviews и AI Mode. Оцените, сколько показов и кликов приходится на генеративные блоки Google и как это влияет на обычный CTR (долю кликов от показов). Часто сниппет-ответ снимает клик: пользователь получает ответ прямо в выдаче и не переходит на сайт.

2. Скачайте или откройте серверный access-лог. Обычно он лежит по пути /var/log/nginx/access.log или /var/log/apache2/access.log. Если у вас хостинг с панелью управления, логи доступны через раздел «Логи» или «Статистика».

3. Создайте файл парсера. Скопируйте скрипт ниже в файл ai_log_scan.py. Он проходит по логу, находит обращения ИИ-ботов по строке user-agent (идентификатор, под которым бот представляется серверу) и считает визиты по каждому боту и по типу: «обучение впрок» или «живой ответ прямо сейчас».

import re
from collections import Counter

AI_BOTS = {
    "GPTBot":         ("GPTBot",           "training"),
    "OAI-SearchBot":  ("OAI-SearchBot",    "live"),
    "ChatGPT-User":   ("ChatGPT-User",     "live"),
    "PerplexityBot":  ("PerplexityBot",     "training"),
    "Perplexity-User":("Perplexity-User",   "live"),
    "ClaudeBot":      ("ClaudeBot",         "training"),
    "Claude-User":    ("Claude-User",       "live"),
    "Google-Extended": ("Google-Extended",   "training"),
    "CCBot":          ("CCBot",             "training"),
    "Applebot-Ext":   ("Applebot-Extended", "training"),
}

LINE = re.compile(
    r'"(?:GET|POST|HEAD) (?P<path>\S+).*?" \d{3} \d+ "[^"]*" "(?P<ua>[^"]*)"'
)

def scan(log_path):
    by_bot = Counter()
    by_type = Counter()
    by_path = Counter()
    with open(log_path, encoding="utf-8", errors="ignore") as f:
        for line in f:
            m = LINE.search(line)
            if not m:
                continue
            ua = m.group("ua")
            for name, (needle, kind) in AI_BOTS.items():
                if needle in ua:
                    by_bot[name] += 1
                    by_type[kind] += 1
                    by_path[m.group("path")] += 1
                    break
    return by_bot, by_type, by_path

if __name__ == "__main__":
    import sys
    bots, kinds, paths = scan(sys.argv[1])
    print("По ботам:", dict(bots.most_common()))
    print("По типу :", dict(kinds))
    print("Топ страниц:", dict(paths.most_common(10)))

1. Запустите скрипт командой:

python3 ai_log_scan.py /var/log/nginx/access.log

На выходе три среза: какие ИИ-боты ходили, сколько «живых» обращений против индексации впрок и какие страницы боты тянут чаще всего.

1. Разберитесь в разнице между ботами. GPTBot индексирует ваш контент впрок для обучающих данных (данных, на которых модель учится). OAI-SearchBot и ChatGPT-User означают, что ваш контент подтянули под конкретный ответ живому пользователю прямо сейчас. Аналогично PerplexityBot собирает данные, а Perplexity-User отдаёт их в ответ. YandexBot участвует в нейропоиске Алисы.

2. Сведите два источника. Раз в неделю снимайте из Google Search Console динамику по AI-поверхностям Google, а из логов сводку по всем ботам и топ страниц. Расхождение между «Google показывает меня в AI» и «ChatGPT-User ходит вот на эти пять страниц» и есть та картина, которую по одному Google Search Console не увидеть.

Что делать с этим прямо сейчас, по ролям

Автору на Дзене. Посмотрите, какие ваши статьи ИИ-боты тянут чаще всего. Именно эти материалы нейросети считают полезными для ответа. Усиливайте их: обновляйте данные, добавляйте конкретику. Остальные тексты получают от ИИ ноль внимания, и это тоже сигнал.

Маркетологу. Если вы отчитываетесь по трафику, а ИИ-визиты прячутся в «прямых заходах», картина искажена. Парсер логов покажет реальный объём обращений, и это аргумент для пересмотра атрибуции в отчётах.

Владельцу сайта в РФ. Google Search Console работает с российскими сайтами, но ИИ-трафик из Алисы (через YandexBot) он не покажет. Добавьте YandexBot в словарь парсера, если хотите видеть полную картину. Метрика Яндекса пока не выделяет ИИ-трафик отдельной строкой.

Для тех, кто привык видеть только Google Search Console, главный вывод простой: консоль показывает половину ИИ-картины. Вторая половина лежит в ваших же логах, и забрать её можно за полчаса.