Sitemap ошибки Google часто не технические: поисковик просто считает контент некачественным

Google в лице сотрудников Мартина Сплитта и Джона Мюллера публично признал, что сообщение об ошибке загрузки карты сайта в Search Console часто вводит владельцев сайтов в заблуждение, потому что реальная причина не техническая, а связана с оценкой качества контента.

Тема «sitemap ошибки Google» регулярно всплывает на форумах для вебмастеров: люди видят сообщение «couldn't fetch» в Search Console (панель Google для владельцев сайтов), проверяют карту сайта (sitemap, XML-файл со списком страниц для поисковика), убеждаются, что она валидна, доступна и правильно прописана в robots.txt (файл с инструкциями для поисковых роботов), и всё равно не понимают, что не так. Обсуждение Сплитта и Мюллера впервые расставило точки над «i» на стороне самого Google.

Что на самом деле скрывается за ошибкой «couldn't fetch»?

Мартин Сплитт прямо подтвердил: в Google знают, что многие получают ошибку «couldn't fetch» при полностью рабочей карте сайта. Формат XML валиден, файл публично доступен, ссылка из robots.txt корректна. Техническая проблема отсутствует, а Search Console всё равно показывает ошибку.

Джон Мюллер назвал три причины, почему так происходит.

Причина первая: перегрузка сервера. Иногда Google действительно не может получить файл, потому что сервер сайта перегружен входящими запросами. Сюда же относится ситуация, когда у Google просто не хватает выделенного времени на обход конкретного сайта.

Мы обсуждали это раньше: сколько наши системы способны обходить с одного сайта. Может случиться так, что у нас нет времени забрать этот файл карты сайта, потому что мы слишком заняты другими вещами. Тогда мы тоже покажем «couldn't fetch», потому что просто не успели. : Джон Мюллер, Search Advocate, Google

По данным автора оригинальной статьи на Search Engine Journal, перегрузка может также происходить поздно ночью, когда легитимные и нелегитимные боты одновременно забрасывают сайт тысячами запросов. Сервер не справляется и отдаёт ошибку 500. Проверить это можно в самой Search Console, где фиксируются ответы с кодом 500, или в логах сервера.

Причина вторая: Google считает контент некачественным. Мюллер назвал это «crawl demand» (потребность в обходе), но по сути речь о том, что системы Google решили: дополнительный контент с этого сайта им не нужен, и карту сайта можно пропустить.

Если наши системы решают, что общее качество сайта не на высоте, мы не будем тратить много времени на обход и индексацию контента. А значит, и карту сайта пока трогать не станем. : Джон Мюллер, Search Advocate, Google

Это ключевой момент для всех, кто часами ищет техническую ошибку: проблема может быть не в сервере и не в XML, а в том, как Google оценивает сам сайт.

Причина третья: карта сайта Google просто не нужна. Мюллер пояснил, что иногда Google уже получил достаточно информации о страницах сайта другими путями и не видит смысла загружать карту.

Аргументы в пользу позиции Google

Google обходит миллиарды страниц. Ресурсы на обход конечны, и приоритизация логична: если сайт не даёт полезного контента, тратить вычислительные мощности на чтение его карты нерационально.

Мюллер оставил и позитивный сигнал: если качество сайта со временем улучшится, Google вернётся к карте сайта и начнёт её использовать. Механизм не блокирующий, а адаптивный.

Кроме того, у Google есть и другие способы обнаружить страницы сайта, например через внешние ссылки. Карта сайта полезна, но не единственный канал.

Почему позиция Google вызывает раздражение?

Главная претензия: сообщение «couldn't fetch» подразумевает техническую неполадку. Вебмастер читает его буквально, проверяет сервер, перегенерирует XML, пишет на форумы. А реальная причина, низкая оценка качества, нигде не указана.

Как отмечает автор оригинального разбора на Search Engine Journal, Google очевидно знает о проблеме с формулировкой, но ничего не делает, чтобы её исправить. Вместо понятного сообщения вроде «карта сайта не загружена: низкий приоритет обхода» пользователь получает вводящую в заблуждение техническую ошибку.

Это не мелочь. Для владельца небольшого сайта, у которого нет SEO-специалиста, «couldn't fetch» звучит как поломка, требующая срочного ремонта. Человек тратит время и деньги не на то.

Что делать прямо сейчас, по ролям?

• Автору Дзена с собственным сайтом. Если публикуете материалы и на Дзене, и на своём сайте, убедитесь, что на сайте нет тонкого контента (коротких страниц без содержания). Google оценивает сайт целиком. Одна хорошая статья не перевесит десять пустых страниц.

• Владельцу сайта малого бизнеса. Не тратьте бюджет на «починку» карты сайта, если техническая проверка ничего не выявила. Направьте ресурсы на улучшение страниц, которые уже есть в индексе Google: добавьте уникальную информацию, уберите дубли.

• SEO-специалисту. Используйте логи сервера и отчёт об обходе в Search Console вместе. Если там нет ошибок 500, а «couldn't fetch» остаётся, это сигнал о качестве, и клиенту нужно это объяснить, а не показывать очередной технический аудит.

Реалистичный прогноз: Google вряд ли быстро поменяет формулировку ошибки в Search Console, компания годами не обновляет интерфейсные сообщения, которые считает второстепенными. Поэтому владельцам сайтов придётся самим помнить: «couldn't fetch» часто означает не «сломано», а «не интересно», и единственный способ это исправить, сделать контент, ради которого Google захочет вернуться.