CAPTCHA может выбить сайт из Google: робот индексирует заглушку вместо контента

В чём суть проблемы с CAPTCHA и SEO в Google?

В свежем выпуске подкаста Search Off the Record Джон Мюллер, сотрудник Google, объяснил механику сбоя. Когда система безопасности сайта считает посетителя подозрительным, она показывает ему экран «вы не робот?» вместо реального контента. Googlebot (поисковый робот Google, который обходит и индексирует страницы) тоже может получить этот экран.

Проблема в том, что сервер отдаёт экран проверки с кодом 200, то есть как обычную рабочую страницу. Google не видит ошибки, он видит контент. Только контент этот одинаков на тысячах сайтов, использующих ту же защиту.

Дальше включается механизм каноникализации (процесс, при котором Google из нескольких похожих страниц выбирает одну «главную»). Google находит одинаковые страницы-заглушки на разных доменах, выбирает одну из них как каноническую, а вашу помечает дубликатом. Ваш реальный контент вылетает из индекса.

Аргументы за использование CAPTCHA

Защита от ботов остаётся необходимостью. Парсеры, спамеры, DDoS-атаки никуда не делись, и без проверки «вы не робот?» сайт рискует получить перегрузку или кражу контента.

Добросовестные CDN-провайдеры (CDN, сеть доставки контента, ускоряет загрузку и фильтрует трафик) и хостинги включают такую защиту автоматически, и для большинства реальных посетителей она срабатывает незаметно.

Многие сайты годами работают с CAPTCHA и не замечают проблем с индексацией, потому что их защита настроена корректно и не блокирует поисковых роботов.

Почему CAPTCHA опаснее, чем кажется?

Мюллер подчеркнул: проблему почти невозможно обнаружить вручную. Вы заходите на свою страницу в обычном браузере, видите нормальный контент. Проверка «вы не робот?» срабатывает только для подозрительных визитов, а Googlebot как раз попадает в эту категорию.

Ещё хуже то, что сбой часто происходит не на уровне самого сайта. CAPTCHA может включить CDN, хостинг или отдельный слой защиты от ботов. Мюллер отметил, что защита нередко активируется при росте частоты обхода, то есть именно тогда, когда Google проявляет к сайту повышенный интерес.

Классическая диагностика не помогает: страница не сломана, сервер отдаёт код 200, ответ приходит. Просто ответ содержит не тот контент. Это значит, что стандартные проверки на битые страницы бесполезны.

В похожей ситуации Мюллер ранее описывал ошибку «страница проиндексирована без контента» (Page Indexed Without Content). Там защита сайта тихо блокировала Googlebot, пропуская обычных посетителей, и Google загружал пустую страницу.

Трудность в том, что нужно посмотреть, какую именно страницу Google выбрал канонической, а потом идти обратно и разбираться, почему это произошло. : Джон Мюллер, Google

Как проверить свой сайт прямо сейчас?

Единственный надёжный способ диагностики для проблемы captcha seo google находится в Google Search Console (бесплатный инструмент Google для вебмастеров, показывает, как поисковик видит ваш сайт):

• Отчёт об индексировании страниц. Если страницы помечены как дубликаты или каноникализированы на чужой домен, это первый сигнал.
• Инструмент проверки URL. Покажет, какой адрес Google считает каноническим. Если каноническая версия ведёт на чужой сайт, проблема подтверждена.
• Просмотр страницы глазами робота. Функция «Посмотреть просканированную страницу» покажет, что именно получает Googlebot: ваш контент или экран CAPTCHA.

Что с этого вам?

Авторам на Дзене и владельцам блогов. Если вы ведёте параллельно собственный сайт и продвигаете его в Google, зайдите в Search Console и проверьте отчёт индексирования. Особенно если хостинг или CDN включают защиту от ботов автоматически. На самом Дзене эта проблема вас не касается, но на внешнем сайте с Google-трафиком может стоить позиций.

Маркетологам и SEO-специалистам. Добавьте проверку каноникализации в регулярный аудит. Проблема captcha seo google коварна тем, что клиент видит нормальный сайт, а трафик падает без видимой причины. Если ваш проект использует Cloudflare, Qrator, DDoS-Guard или аналогичные сервисы, убедитесь, что Googlebot добавлен в белый список.

Предпринимателям в РФ и СНГ. В России популярны собственные решения для защиты от ботов, и они точно так же могут блокировать Googlebot. Свяжитесь с тем, кто управляет вашей защитой или CDN, и уточните, пропускают ли они поисковых роботов Google и «Яндекса» без проверки.

Чего ждать дальше?

Мюллер рекомендует тем, кто столкнулся с проблемой, связаться с провайдером защиты, CDN или хостингом и настроить пропуск Googlebot. После исправления нужно запросить повторный обход через функцию «Подтвердить исправление» в Search Console. Google также может обнаружить исправление при следующем штатном обходе. Но пока вы не проверили, что именно видит робот на вашем сайте, вы не знаете, работает ли ваше SEO вообще, и это единственный вывод, с которым стоит уйти из этого текста.