37% новых треков на Яндекс Музыке сгенерированы: нейросеть для создания музыки научились детектить без GPU

Полтора месяца назад автор исследования опубликовал материал о том, что Яндекс Музыка «на треть состоит из нейрослопа». С тех пор он доработал метод обнаружения и выложил результаты с подробной аналитикой. В основе лежит научная работа специалистов стримингового сервиса Deezer «A Fourier Explanation of AI-music Artifacts», которая описывает характерные артефакты в частотном спектре сгенерированного аудио. Алгоритм адаптирован автором для простоты, не требует видеокарты и доступен в открытом репозитории.

Что понадобится?

• Python с библиотеками для обработки аудио (NumPy, SciPy или аналоги для преобразования Фурье)
• XGBoost для обучения классификатора
• Датасет SONICS (Synthetic Or Not, Identifying Counterfeit Songs), 1 500 треков, половина сгенерированных, половина живых
• Обычный ноутбук, GPU не нужен
• Около 2 часов на первый запуск и эксперимент

Пошаговая инструкция

1. Подготовьте аудиофайл. Загрузите трек, который хотите проверить. Формат значения не имеет: WAV, MP3, FLAC подойдут, главное декодировать в массив амплитуд.

2. Вычислите частотный спектр через преобразование Фурье. Преобразование Фурье раскладывает сложный звуковой сигнал на простые волны (гармоники) с разными частотами и громкостями, как если бы вы разобрали оркестр на отдельные инструменты. Получите усреднённый спектр трека.

import numpy as np
from scipy.fft import fft

# audio_data — массив амплитуд трека
spectrum = np.abs(fft(audio_data))

1. Вычислите производную спектра. Производная показывает скорость изменения сигнала между соседними точками. Именно она делает артефакты нейросети видимыми: у сгенерированной музыки появляются резкие повторяющиеся пики на определённых частотах. Эти пики называют «шахматными артефактами» (checkerboard artifacts), они похожи на повторяющиеся паттерны в ранних ИИ-картинках, только спрятаны в звуке.

derivative = np.diff(spectrum)

1. Уменьшите число признаков методом PCA. PCA (метод главных компонент) сжимает набор данных, оставляя только те характеристики, которые несут больше всего информации. Это убирает шум и ускоряет классификацию.

from sklearn.decomposition import PCA

pca = PCA(n_components=50)
features = pca.fit_transform(derivative.reshape(1, -1))

1. Обучите классификатор XGBoost на датасете SONICS. XGBoost (градиентный бустинг) здесь работает как финальный судья: получает сжатые признаки спектра и выносит вердикт. Для обучения автор использовал 1 500 треков в соотношении 50/50.

from xgboost import XGBClassifier

model = XGBClassifier()
model.fit(train_features, train_labels)
prediction = model.predict(features)

1. Проверьте результат. Если классификатор вернул метку «ИИ», трек с высокой вероятностью сгенерирован. По данным автора, из всех треков, которые модель назвала сгенерированными, 100% действительно оказались таковыми (precision). Из всех реально сгенерированных треков модель нашла 98,7% (recall).

Что делать с этим прямо сейчас?

Авторам Дзена и контент-создателям. Если вы используете музыку в подкастах, видео или сторис, проверяйте фоновые треки перед публикацией. Сервисы вроде Яндекс Музыки пока не маркируют сгенерированный контент, а претензии правообладателей к ИИ-музыке уже обсуждаются. Репозиторий автора открыт, можно запустить проверку самостоятельно.

Маркетологам. Нейросеть для создания музыки бесплатно выдаёт трек за минуты, но стриминговые площадки начнут фильтровать такой контент. Если вы заказываете джинглы или фоновую музыку у подрядчиков, алгоритм позволяет проверить, не подсунули ли вам генерацию вместо авторской работы.

Стриминговым платформам и предпринимателям в РФ. Автор прямо указывает: «любой стриминговый сервис может реализовать подобный подход без серьёзных инфраструктурных затрат». Deezer уже встроил аналогичную систему маркировки. Для российских площадок, где доля нейромузыки достигает 37%, внедрение такого фильтра становится вопросом доверия аудитории.

Главный вывод не в процентах, а в доступности: для детекта ИИ-музыки больше не нужен суперкомпьютер, нужен ноутбук, открытый датасет и полчаса на Python. Код лежит в открытом репозитории автора исследования, и любой стриминг или продюсер может запустить проверку сегодня.