ИИ-спам и 14-дневное обновление Google: как найти у себя почти одинаковые страницы

Обновление касалось всех языков. Сравнение с прошлыми запусками взято из сводки Relevant Audience, сентябрьскую длительность подтверждает статусная страница Google: там с первого дня было написано «may take up to two weeks», то есть «может занять до двух недель». Ниже разбираю, как за вечер найти у себя страницы-близнецы коротким скриптом и что делать с найденным.

Google злится на ИИ или на объём?

В посте Search Central (официальный блог Google для владельцев сайтов) обновление названо обычным, новых правил в нём нет, так его пересказывает ppc.land. Цель Google не назвал. Барри Шварц 28 сентября писал, что она пока не до конца известна.

На конференции Search Central Live в Барселоне представитель Google объяснил частоту обновлений так:

«Спам-обновлений в последнее время больше, потому что нового контента стало намного больше» : Дуй Нгуен, Google (в записи участника конференции)

Слова «ИИ» в этой фразе нет. Связку с нейросетями сделал заголовок Search Engine Roundtable, это вывод издания, а не Google.

По политике о спаме нарушение называется «злоупотребление масштабированным контентом» (scaled content abuse): много страниц, созданных главным образом ради манипуляции выдачей. Способ создания значения не имеет. Нейросети упомянуты среди примеров: генерация множества страниц, которые ничего не дают пользователю.

Страницу Google о генеративном ИИ обновили 1 октября, она требует вручную проверять факты перед публикацией. Что именно поменялось, не видно: журнала правок нет. По исследованию Ahrefs, статьи, почти целиком написанные нейросетью, попадают в индекс реже: 40,35% против 49,28% у страниц с низкой долей ИИ. Но это корреляция, причиной может быть качество текста, а не сам ИИ.

Что понадобится для проверки?

• Python, язык программирования, который бесплатно ставится на любой компьютер.
• Основной текст ваших страниц без меню, подвала и хлебных крошек. Вытащить его помогает библиотека trafilatura.
• Для сайтов на тысячи страниц библиотека datasketch.
• Вечер на просмотр результатов глазами.

Как найти страницы-близнецы по шагам?

1. Соберите тексты в словарь pages: адрес страницы и её основной текст. Сквозные блоки уберите, иначе они дают общие куски всем страницам и завышают похожесть.
2. Запустите скрипт. Он режет текст на шинглы, то есть перекрывающиеся отрезки по десять слов подряд, как черепица на крыше. Метод описан в работе Бродера «On the resemblance and containment of documents», длину в десять слов взяли авторы исследования «Syntactic Clustering of the Web».

import re
from itertools import combinations

def shingles(text, w=10):
    words = re.findall(r"\w+", text.lower())
    return {" ".join(words[i:i + w]) for i in range(len(words) - w + 1)}

def jaccard(a, b):
    return len(a & b) / max(len(a | b), 1)

def containment(a, b):
    return len(a & b) / max(len(a), 1)

sh = {url: shingles(text) for url, text in pages.items()}  # pages: {адрес: основной текст}
for (u1, a), (u2, b) in combinations(sh.items(), 2):
    print(f"{u1:18} {u2:18} jaccard={jaccard(a, b):.2f} "
          f"in={containment(a, b):.2f} out={containment(b, a):.2f}")

1. Прочитайте два числа. Сходство Жаккара (jaccard): общие шинглы, делённые на все шинглы обеих страниц, подходит для сравнения пар. Вложенность (in и out): какая доля одной страницы целиком лежит в другой, она ловит короткую страницу внутри шаблона длинной.
2. Смотрите на распределение вложенности по всему сайту, а не на одно число. Откройте глазами от 20 до 30 пар около выбранной отметки и решите, где содержание перестаёт различаться.
3. Для каждой группы спросите: что читатель узнаёт здесь, чего нет на соседней странице? Ответа нет, значит склеить или дописать.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: если вы переносите статьи с канала на свой сайт и пишете серии с нейросетью, прогоните серию скриптом. Похожие вступления и выводы всплывут сразу.

Маркетологу: под удар, по предположению Лили Рэй от 28 сентября, могли попасть шаблонные программные страницы, вероятно сгенерированные ИИ. Страницы «услуга плюс город» проверьте первыми.

Предпринимателю из РФ и СНГ: скрипт работает на вашем компьютере и не обращается к сервисам Google. Из доступных в РФ нейросетей, YandexGPT и GigaChat, можно попросить построчно объяснить код, если Python для вас новый.