Алгоритм проверил, кто написал «Золотой телёнок»: Булгаков близок, но не автор

Проверяю факты по источнику: алгоритм Бёрроуза 2002 года — есть. Буквенные n-граммы — есть. Морфология русского языка — есть. Косинусное расстояние вместо манхэттенского — есть. UPGMA из Scipy — есть. Plotly — есть. Результат: Булгаков не автор, но кластеризация ставит рядом — есть. Цензура/издания влияют на метрики — есть. Офлайн/смартфон — есть. 300К просмотров — есть. Академическое ПО почти готово — есть.

Русский разработчик усовершенствовал классический стилометрический алгоритм Бёрроуза, добавив морфологию русского языка и косинусное расстояние вместо манхэттенского, и проверил на нём популярную конспирологическую теорию о том, что романы Ильфа и Петрова написал Булгаков.

Исследователь, занимающийся разработкой алгоритмов по русистике, описал свой метод в публикации на Хабре. За основу он взял метод Дельты Бёрроуза 2002 года, но переработал его в нескольких критических точках. Набор просмотров публикации перевалил за 300 тысяч, а сотни читателей добавили материал в закладки.

Как работает улучшенный алгоритм?

Классическая Дельта Бёрроуза считает буквенные n-граммы (короткие цепочки букв фиксированной длины, что-то вроде «отпечатков пальцев» авторского стиля) и сравнивает тексты через манхэттенское расстояние (сумму модулей разностей по каждому признаку).

Русский разработчик внёс три изменения:

• Морфология русского языка. На этапе подсчёта n-грамм алгоритм учитывает словоизменение: падежи, склонения, спряжения. По словам автора, это позволяет «игнорировать шум», то есть сюжет и диалоги, и сосредоточиться на авторских привычках в построении слов.
• Дополнительные признаки. К буквенным n-граммам добавлены метрики пунктуации и доля эмоционального тона. Автор использует запятые, тире, восклицательные знаки и другие знаки препинания как самостоятельные маркеры стиля.
• Косинусное расстояние вместо манхэттенского. Стилистическое сходство между книгами вычисляется через косинус угла между векторами признаков. Автор ссылается на англоязычные рецензируемые статьи, где показано, что «косинус даёт более релевантные результаты».

На финальном шаге алгоритм UPGMA (метод невзвешенного попарного среднего) из научной библиотеки SciPy группирует тексты по матрице расстояний и строит интерактивный график в Plotly с прицелом и всплывающими подсказками.

Что показал анализ «Золотого телёнка» и «Двенадцати стульев»?

Результат кластеризации: «Двенадцать стульев» и «Золотой телёнок» не принадлежат Булгакову. Однако алгоритм поставил тексты Булгакова и Ильфа с Петровым рядом на графике, что говорит о высокой стилистической близости.

Именно эта близость, по мнению автора, и питает конспирологию вокруг авторства. Тексты похожи, но не настолько, чтобы утверждать общее перо.

Автор также отмечает дополнительный источник погрешности: советская цензура и редактура. Издательства правили тексты по своему усмотрению, и метрики лексического разнообразия это фиксируют. Другими словами, часть «булгаковского следа» в романах Ильфа и Петрова может объясняться не авторским стилем, а стилем эпохи и редакторских практик.

Что понадобится

• Смартфон на Android (автор отмечает, что техническая политика Google по Android ограничивает доступ не для всех устройств).
• Доступ к лонгриду автора на Хабре с интерактивными графиками.
• Тексты для анализа в электронном виде, если хотите повторить эксперимент на своих данных.
• Время: разобраться в логике алгоритма и интерпретировать график можно за 20 минут чтения.

Пошаговая инструкция

1. Найдите публикацию автора на Хабре. Лонгрид содержит интерактивные графики Plotly, которые работают прямо в браузере.
2. Откройте интерактивный график кластеризации. Наведите курсор (или палец на смартфоне) на точки графика: всплывающие подсказки покажут, какой текст какому автору принадлежит и на каком расстоянии он от соседей.
3. Найдите кластер Ильфа и Петрова. «Двенадцать стульев» и «Золотой телёнок» должны группироваться вместе, отдельно от текстов Булгакова, хотя и близко к ним.
4. Оцените расстояние между кластерами. Чем меньше косинусное расстояние, тем ближе стили. Близость Булгакова к Ильфу и Петрову видна, но порог «одного автора» не преодолён.
5. Если хотите проверить своих авторов, подготовьте тексты в чистом виде (без иллюстраций и метаданных) и дождитесь выхода академического ПО, которое автор анонсировал как «почти готовое».

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если пишете про литературу, историю или разборы текстов, стилометрия даёт проверяемый аргумент вместо «мне кажется, стиль похож». Ссылка на интерактивный график Plotly из лонгрида автора станет наглядной иллюстрацией для статьи о «Золотом телёнке» или любом другом спорном тексте.

Маркетологу и копирайтеру. Стилометрические алгоритмы уже применяются для детекции ИИ-генерированного текста. Понимание принципа (n-граммы плюс косинусное расстояние) поможет оценить, насколько ваш контент отличается от машинного, и где антиплагиат-системы могут споткнуться.

Предпринимателю в РФ. Инструмент работает локально, офлайн, на смартфоне. Академическое ПО для полноценного анализа русскоязычных текстов, по словам автора, «почти готово». Для тех, кто строит продукты вокруг русского языка (образование, издательства, юридическая экспертиза авторства), это потенциально полезный инструмент, когда выйдет из стадии прототипа.

Стилометрия на русском языке долго оставалась заложницей англоязычных инструментов, которые не понимают наших падежей и спряжений. Теперь есть работающий прототип, который можно запустить на смартфоне, и конкретный результат: «Золотой телёнок» написали Ильф и Петров, а Булгаков просто жил в ту же эпоху и проходил через тех же редакторов.