Ботовый трафик почти сравнялся с человеческим: как отличить ботов в «Метрике»

Тема «мёртвого интернета» обсуждается как минимум с 2014 года, но именно последние два-три года превратили её из конспирологии в рабочую задачу для каждого, кто зарабатывает на контенте. Александр, специалист по автоматизации и парсингу из команды антидетект-браузера Aurorium, собрал статистику распределения трафика с 2013 года по настоящее время и классификацию ботов, которую полезно знать любому автору. Ниже я адаптирую его данные под задачи тех, кто работает с Дзеном, сайтами и рекламой в Рунете.

Какие боты бывают и почему это не одно и то же?

Весь нечеловеческий трафик делится на три категории. Путать их опасно: заблокируете «хорошего» бота и потеряете индексацию, пропустите «плохого» и получите накрученные метрики.

Хорошие боты:

• Краулеры (сканеры) поисковых систем, они обеспечивают индексацию и ранжирование вашего контента
• Системы мониторинга доступности и производительности сайтов
• Агрегаторы новостей и RSS-ридеры
• Боты социальных сетей, которые генерируют превью при вставке ссылки

Плохие боты (три уровня сложности):

• Простые: скрипты на базовых библиотеках без маскировки
• Умеренно продвинутые: используют headless-браузеры (браузер без видимого окна, управляемый кодом), умеют исполнять JavaScript, имитировать движение мыши и управлять сессиями
• Продвинутые: динамически меняют цифровые отпечатки, распределяют запросы через прокси и применяют алгоритмы машинного обучения для эмуляции нелинейного человеческого поведения

Серые боты:

• Боты нейросетей, которые собирают контент для обучающих данных
• ИИ-агенты (программы, способные самостоятельно выполнять цепочку действий в сети)

Александр из Aurorium относит серых ботов к плохим в общей статистике, потому что «ещё не до конца понятно, несут ли они пользу для современного веба и вебмастеров».

Как менялось соотношение людей и ботов с 2013 года?

Исследование Imperva показывает несколько характерных фаз.

Середина 2010-х: эра относительного спокойствия. В 2014 году доля хороших ботов выросла, это закономерный результат бурного развития поисковых систем и агрегаторов. Затем человеческий трафик вернул доминирование благодаря массовому приходу пользователей смартфонов: сети 4G/LTE вывели в интернет сотни миллионов людей из Китая, Индии и Индонезии. Доля плохих ботов оставалась низкой: чтобы написать скрипт парсинга, нужны были навыки программирования, а ими владели немногие.

2019 и далее: пандемийный перелом. Вынужденная удалёнка запустила бум автоматизации в бизнесе. Компании, перешедшие в онлайн, начали массово использовать скрипты для сбора данных, мониторинга конкурентов и автоматической работы с клиентами. Именно этот период стал точкой, после которой ботовый трафик начал устойчиво расти.

Релевантная деталь для авторов Дзена: рост мобильного трафика из Азии в середине 2010-х создал «иллюзию человеческого большинства». Сейчас этот эффект размывается, и реальную долю живых читателей приходится считать заново.

Что понадобится

• Доступ к «Яндекс Метрике» или Google Analytics для вашего сайта или канала (если у вас только Дзен без внешнего сайта, хватит встроенной статистики Дзена)
• Список известных user-agent строк хороших ботов (Googlebot, YandexBot, Mail.Ru Bot, Bingbot) для сверки в логах
• Около 40 минут на первый аудит

Пошаговая инструкция

1. Откройте отчёт по источникам трафика. В «Яндекс Метрике» зайдите в «Отчёты» и выберите «Источники, сводка». Посмотрите, нет ли резких всплесков прямых заходов (direct) без роста глубины просмотра. Ботовый трафик часто приходит именно так: много визитов, ноль взаимодействия.

2. Проверьте показатель отказов и время на странице. Если за конкретный день отказы выросли до 90% и выше, а среднее время упало ниже 5 секунд, это типичный маркер бот-волны.

3. Изучите географию визитов. Неожиданный всплеск из региона, где у вас нет аудитории (например, трафик на русскоязычный блог из Юго-Восточной Азии), почти наверняка бот.

4. Сверьте user-agent в логах сервера. Если у вас есть доступ к серверным логам, отфильтруйте визиты по user-agent. Хорошие боты честно представляются:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Всё, что маскируется под обычный Chrome, но приходит с частотой 200 запросов в минуту с одного IP, это плохой или серый бот.

1. Отделите серых ботов. Краулеры нейросетей (GPTBot от OpenAI, ClaudeBot от Anthropic, и другие) обычно указывают себя в user-agent. Проверьте, не они ли дают аномальный рост. Блокировать их или нет, ваше решение: пока индустрия не определилась, приносят они пользу авторам или забирают контент без отдачи.

2. Настройте фильтрацию. В «Яндекс Метрике» включите фильтр «Не учитывать роботов» (Настройка > Фильтры). Это уберёт из статистики известных ботов и покажет более честную картину.

Что делать с этим прямо сейчас?

Авторам Дзена. Проверьте статистику канала за последний месяц. Если видите аномальные дни с нулевым вовлечением, скорее всего, это бот-волна. Она не повлияет на монетизацию напрямую, но исказит ваше понимание того, какой контент реально работает.

Вебмастерам и владельцам сайтов. Настройте базовую фильтрацию в «Метрике» и проверьте файл robots.txt. Решите, пускаете ли вы ИИ-краулеры: это вопрос стратегии, а не только техники.

Маркетологам. Если вы покупаете рекламу и оцениваете её по кликам, ботовый трафик может завышать отчётность подрядчика. Сверяйте клики с поведенческими метриками: время, глубина, конверсии.

Данные Imperva показывают: с каждым годом доля ботов в глобальном трафике подбирается ближе к человеческой. Для автора это не повод паниковать, а повод научиться читать свою статистику трезво. Проведите аудит сегодня вечером, и завтра вы будете принимать решения по реальным цифрам, а не по шуму, который создают скрипты.