Кто открывает ваш сайт, когда растёт посещаемость: больше половины интернет-трафика не люди

Раньше расхождение между сервером и счётчиком списывали на поисковых роботов, которые аналитику не портят. Автор материала на Хабре проверил, кто из автоматических гостей доходит до счётчика. Выяснилось, что любой браузер на основе Chromium отправляет полноценный визит.

Вторая цифра Cloudflare: запросы ИИ-агентов за год выросли больше чем на 1700%. ИИ-агенты здесь означают программы, которые сами ходят по сайтам и выполняют задачи вместо человека.

Что нового выяснилось про ботов в аналитике?

Счётчик Метрики или GA4 (Google Analytics 4, аналитика Google) представляет собой скрипт на JavaScript. Это маленькая программа внутри страницы: пока браузер её не запустил, визит не засчитан. Автор повесил на тестовую страницу свой мини-счётчик и открывал её разными инструментами, с маскировкой и без.

• Краулеры молчат. Краулеры, то есть роботы, которые скачивают страницы для поиска и обучения ИИ, JavaScript не исполняют. Они остаются только в логе сервера (журнале, куда сервер записывает каждый запрос) и в отчёты не попадают.
• Кто из крупных ботов запускает скрипты. Краулеры OpenAI и Anthropic скачивают JS-файлы, но не запускают их. Gemini, который ходит через инфраструктуру Googlebot, и AppleBot JavaScript исполняют.
• Любой браузер оставляет полноценный визит. Chromium (открытая основа браузера Chrome) передаёт страницу, длительность, разрешение экрана и куку. Кука здесь, это метка, по которой счётчик узнаёт браузер при следующем заходе.
• Браузер без окна по умолчанию выдаёт себя сразу. Такой режим называют headless: окна нет, браузером управляет программа. В строке User-Agent, подписи, которой браузер представляется сайту, стоит слово HeadlessChrome. Заголовка языка нет, список плагинов пуст, экран 1280 на 720.
• Новый headless прячется лучше. Слово HeadlessChrome остаётся только в User-Agent. В Client Hints, новых служебных подсказках браузера о себе, его уже нет, и детектор, перешедший на Client Hints, такого гостя пропускает.
• Метка автоматизации снимается одним флагом. Метка webdriver включена во всех запусках через Playwright, инструмент для управления браузером из кода. Отключается она одним флагом при запуске.
• Маскировка в десяток строк убирает половину признаков. В тесте подменили User-Agent на Chrome под Windows, поставили экран 1536 на 864, русский язык и московское время, переход с Яндекса, движения мыши и прокрутку. После этого половина признаков пропала.

Результат теста в двух колонках:

Обратите внимание на деталь: маскировку автор описывает как то, «что делает любой, кто хоть раз писал парсер». Это не уровень специальной службы. Тест сделан на одной странице, поэтому показывает механику, а не долю ботов на вашем сайте.

Как проверить, кто открывает ваш сайт?

1. Сравните посещаемость в логе сервера или в панели хостинга с Метрикой. Если вырос сервер, а Метрика нет, это, скорее всего, краулеры, мониторинги и скрейперы (программы для сбора данных). Для аналитики они безвредны.
2. Если растёт именно Метрика, а заказы стоят и конверсия падает, подозревайте ботов в настоящем браузере.
3. Попросите разработчика поискать в логах слово HeadlessChrome в User-Agent. Проверять стоит не только Client Hints, иначе новый headless проскочит.
4. Учтите, что замаскированный бот эту проверку пройдёт. Сверяйте графики с заказами, а не с охватами.

Метрика и GA4 одинаково слепы к краулерам и одинаково видят агентов

Автор подчёркивает, что его мини-счётчик снимает примерно то же, что теги Метрики и GA4. Это хит при загрузке, пинг «посетитель ещё здесь» через 3 секунды и последний хит при закрытии вкладки. Ставит он и собственную куку, по аналогии с ym_uid у Метрики и _ga у Google.

Для сайтов в РФ и СНГ на Яндекс Метрике картина поэтому та же, что и на западных счётчиках. YandexGPT или GigaChat здесь ни при чём: вопрос не в нейросети, а в том, как устроен любой счётчик на JavaScript.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы ведёте свой сайт рядом с каналом и продаёте через него, не стройте выводы о теме по одному всплеску посещаемости. Сверяйте рост с комментариями, заявками и подписками, то есть с действиями, которые бот не совершает ради вас.

Маркетологу. Рост охватов без роста заказов теперь требует проверки, а не отчёта об успехе. Перед тем как масштабировать канал трафика, сравните лог сервера с Метрикой.

Предпринимателю. Продакт может неделями искать поломку воронки, которой нет: часть «посетителей» не люди. Проверьте природу трафика до того, как платить за переделку сайта.

Что ещё спрашивают про ботов в Метрике?

Опасны ли боты, которые видны только в логе сервера?

Для аналитики нет. Они не исполняют JavaScript, поэтому в отчёты не попадают и цифры не искажают.

Можно ли отсечь агентов по подписи браузера?

Только самых простых. Слово HeadlessChrome исчезает после подмены User-Agent, а метка webdriver снимается одним флагом.

Почему посещаемость растёт, а заказов нет?

Возможная причина в браузерных ботах, которые выглядят в отчёте как люди с глубиной просмотра и временем на сайте. Прежде чем чинить воронку, проверьте, кто по ней идёт: человек или программа.