Google помечает сайты как взломанные из-за search box quality: как закрыться за минуту

Джон Мюллер и Мартин Сплитт, сотрудники команды Google Search, в 113-м выпуске подкаста Search Off The Record объяснили механику проблемы, которую часто не замечают. Почти на каждом сайте есть строка поиска. Когда посетитель вводит запрос, сайт создаёт страницу с результатами и присваивает ей отдельный URL. Спамеры пользуются этим: вбивают в поиск на чужом сайте фармацевтику, «взрослые» термины, номера телефонов и ссылки на Telegram-каналы. Сайт послушно генерирует тысячи страниц с этим мусором.

Почему Google считает это взломом?

• Спам через чужой поиск выглядит как взлом. Мюллер прямо сказал: когда Google видит на сайте массу страниц с фармацевтикой и контактами мошенников, система помечает их как hacked (взломанные). Владелец получает уведомление в Search Console.
• Бесконечное пространство для краулера. Сплитт объяснил, что функция «Вы имели в виду?» на странице результатов поиска может создавать цепочку новых URL. Краулер (робот-обходчик Google) проваливается в эту воронку и пытается обойти миллионы несуществующих страниц.
• Нагрузка на сервер и потеря краул-бюджета. Краул-бюджет (crawl budget) означает, сколько страниц сайта Google готов обойти за определённый период. Когда робот тратит этот лимит на мусорные страницы поиска, реальные статьи и товары остаются без индексации.
• Алгоритм может справиться сам, но рассчитывать на это опасно. Мюллер подтвердил, что Google умеет отлавливать такие страницы автоматически. Но предостерёг: не стоит считать, что проблема решена, пока владелец сайта не закрыл доступ к этим URL вручную.

Как защитить сайт за два шага?

1. Закройте страницы поиска через robots.txt. Мюллер и Сплитт назвали это самым простым и чистым способом. Правило должно быть максимально широким, чтобы охватить все варианты URL, которые генерирует поисковая форма. Например, строка Disallow: /search или Disallow: /?s= закроет типичные адреса результатов поиска на большинстве CMS.
2. Добавьте директиву noindex. Если robots.txt по какой-то причине не подходит, поставьте мета-тег noindex на страницы результатов. Мюллер отметил, что robots.txt проще, но noindex тоже работает.

Сплитт резюмировал оба метода так:

Мы узнали кучу нового о страницах поиска на сайтах. Они могут стать бесконечным пространством для краулера, потому что генерируют страницу за страницей. Но от них довольно легко избавиться с помощью robots.txt или noindex. : Мартин Сплитт, Google

Как обстоят дела в Яндексе?

Проблема google search box quality касается не только Google. Яндекс тоже индексирует страницы результатов внутреннего поиска, если они не закрыты. В Яндекс Вебмастере можно проверить, не появились ли подозрительные страницы в индексе, через раздел «Страницы в поиске». Принцип защиты тот же: robots.txt или мета-тег noindex. Если вы ведёте блог на Дзене, эта проблема вас напрямую не касается, Дзен сам управляет индексацией. Но если у вас есть отдельный сайт (визитка, магазин, блог на WordPress), проверьте прямо сейчас.

Что делать прямо сейчас, по ролям

Автору Дзена с отдельным сайтом. Откройте robots.txt вашего сайта (обычно вашсайт.ru/robots.txt). Если там нет строки, закрывающей /search или /?s=, добавьте её. На WordPress это делается плагином Yoast SEO или RankMath за минуту.

Маркетологу и SEO-специалисту. Проверьте клиентские сайты через Search Console: раздел «Безопасность и меры, принятые вручную». Если Google уже пометил страницы как hacked, нужно сначала закрыть доступ, а затем запросить повторную проверку.

Предпринимателю с интернет-магазином. У магазинов поисковая строка обязательна, и именно они чаще всего становятся мишенью. Передайте задачу разработчику: закрыть в robots.txt все URL с параметрами поиска.

Частые вопросы

Мой сайт на Дзене, мне нужно что-то делать?

Нет. Дзен управляет технической стороной сам, вы не можете менять robots.txt платформы. Проблема google search box quality актуальна только для самостоятельных сайтов с собственной поисковой строкой.

Google уже пометил мой сайт как взломанный, что делать?

Зайдите в Search Console, раздел «Безопасность и меры, принятые вручную». Закройте страницы поиска через robots.txt, дождитесь переобхода (обычно от нескольких дней до двух недель) и нажмите «Запросить проверку». Google снимет пометку, если мусорные страницы перестанут быть доступны.

Robots.txt или noindex, что лучше?

Мюллер и Сплитт рекомендуют robots.txt как более простой и надёжный способ. Noindex тоже работает, но требует, чтобы Google сначала обошёл страницу и увидел тег, а это создаёт лишнюю нагрузку на сервер и краул-бюджет.

Пять минут на правку одного файла могут спасти сайт от блокировки в поиске, а ведь именно из поиска приходит основной трафик.