Google краулер Mediapartners теперь управляет не только AdSense: кому пора менять robots.txt

До этого обновления документация Google прямо указывала: краулер Mediapartners-Google работает только на AdSense и обходит сайты-участники, чтобы подбирать релевантную рекламу. Теперь формулировка изменилась. Источник обновления: официальная документация Google по специальным краулерам (Special-Case Crawlers). Разберём, что именно поменялось и что с этим делать.

Что конкретно изменилось в описании краулера?

Старая формулировка документации звучала так:

Настройки сканирования для юзер-агента Mediapartners-Google влияют на Google AdSense. Краулер AdSense посещает сайты-участники, чтобы показывать им релевантную рекламу. : Документация Google (до обновления)

Новая формулировка:

Краулер Mediapartners-Google посещает сайты-участники, чтобы показывать им релевантную рекламу. Настройки сканирования для юзер-агента Mediapartners-Google влияют на различные рекламные продукты Google (например, Google AdSense и Google Ad Manager). : Документация Google (после обновления)

Ключевые изменения:

• Расширение охвата. Раньше краулер был привязан только к AdSense. Теперь он обслуживает «различные рекламные продукты Google», и AdSense с Ad Manager названы лишь как примеры.
• Непрозрачный список сервисов. Google не перечислил все продукты, на которые влияет этот краулер. Неизвестно, затрагивает ли он Google Marketing Platform, Local Services Ads или Google AdMob.
• Порядок предложений поменялся. Раньше первой шла привязка к AdSense, теперь первым идёт описание функции краулера, а привязка к конкретным продуктам стала вторичной и размытой.

Для владельца сайта это значит: если вы блокировали или разрешали Mediapartners-Google в robots.txt (файл, через который сайт указывает ботам, какие страницы можно обходить), думая, что управляете только AdSense, теперь эта настройка влияет шире. Насколько шире, Google не уточнил.

Как проверить и что сделать?

1. Откройте файл robots.txt вашего сайта (обычно по адресу вашсайт.ru/robots.txt) и найдите строки с упоминанием Mediapartners-Google.
2. Если вы блокируете этот юзер-агент (строка Disallow), учтите: теперь блокировка может затронуть не только AdSense, но и другие рекламные продукты Google, включая Ad Manager. Это может повлиять на показ рекламы на вашем сайте.
3. Проверьте актуальную документацию Google по специальным краулерам (раздел Special-Case Crawlers на сайте Google для разработчиков), чтобы отслеживать, появятся ли уточнения по полному списку затронутых сервисов.

Есть ли аналоги этой ситуации для Рунета?

Прямого аналога Mediapartners-Google в Яндексе нет: рекламная сеть Яндекса (РСЯ) использует собственные механизмы индексации, и управление доступом ботов Яндекса через robots.txt работает иначе. Однако принцип тот же: если вы размещаете рекламу через Яндекс и одновременно через Google AdSense или Ad Manager, обновление касается вас напрямую. Владельцам сайтов на Дзене, использующим монетизацию через рекламу Google, стоит проверить настройки.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы ведёте параллельно свой сайт с рекламой Google, проверьте robots.txt. Для статей на самом Дзене это обновление роли не играет: Дзен управляет настройками краулеров на уровне платформы.

Владельцу сайта или блога. Пересмотрите правила для Mediapartners-Google. Блокировка, которая раньше отключала только AdSense, теперь может отключить рекламу из Ad Manager и, возможно, из других продуктов. Потеря показов означает потерю дохода.

Маркетологу и специалисту по рекламе. Если вы размещаете рекламу через Google Ad Manager на сторонних площадках, убедитесь, что владельцы этих площадок не блокируют Mediapartners-Google. Иначе ваши объявления могут не дойти до аудитории.

Частые вопросы

Мой сайт перестанет показывать рекламу Google?

Нет, если вы не блокировали юзер-агент Mediapartners-Google в robots.txt. Для большинства сайтов, которые просто подключили AdSense и ничего не меняли в настройках краулеров, всё продолжит работать как раньше.

Какие именно продукты Google теперь используют этот краулер?

Google назвал только два примера: AdSense и Ad Manager. Полный список не опубликован. Неизвестно, входят ли туда Google Marketing Platform, Local Services Ads и AdMob. Пока компания не уточнит, остаётся следить за обновлениями документации.

Нужно ли срочно менять robots.txt?

Срочно менять ничего не нужно, если у вас нет строк с Mediapartners-Google. Если строки есть и содержат Disallow, пересмотрите их с учётом того, что блокировка теперь затрагивает больше сервисов, чем вы планировали. Проверка займёт пять минут, а последствия неправильной блокировки могут стоить рекламного дохода.

Google тихо расширил зону работы краулера, не объяснив границ. Для владельцев сайтов единственный разумный шаг: открыть robots.txt, найти Mediapartners-Google и принять осознанное решение, а не полагаться на старое понимание, которое Google только что обнулил.