Российский детектор ловит голосовой дипфейк и объясняет вердикт по 14 признакам

Речевой дипфейк (запись голоса, созданная нейросетью так, чтобы звучать как конкретный человек) мошенники уже используют, чтобы выманивать крупные суммы. По словам автора разбора из AIRI (Институт искусственного интеллекта), существующие детекторы плохо переносят смену генератора и не умеют объяснять свои решения. Авторы работы из AIRI, МФТИ (Физтех), МТУСИ (Московский технический университет связи и информатики) и ВШЭ (Высшая школа экономики) предложили метод, который учится и распознавать, и объяснять.

Что нового в HIR-SDD?

Сокращение SDD в названии означает обнаружение речевых дипфейков. Обычный детектор выдаёт число от нуля до единицы: настоящая речь или синтез. Если он ошибся, по одному числу не понять, что пошло не так.

Новый подход устроен иначе:

• В основе аудиоязыковая модель, то есть большая языковая модель, которая принимает не только текст, но и звук и отвечает обычными предложениями.
• Модель прошла дообучение (обучение на специально подготовленных примерах под узкую задачу) на человеческих комментариях к 41 тысяче аудиозаписей.
• Записи взяли на русском и английском из открытых источников и дополнили синтезированной речью.
• Слушатели отмечали причины подозрений из списка в 14 пунктов: необычная интонация, неестественные паузы, ошибки в ударениях, слишком быстрая речь, странное звучание голоса и другие.
• Модель объясняет и настоящую речь: естественный темп, дыхание, интонацию по смыслу фразы. Ответ «звучит нормально» при разметке не принимали.

Пример из работы: на настоящей записи модель отметила естественную интонацию и фоновый шум, похожий на телевизор. Тот же телевизор услышал и человек-разметчик. На подделке модель написала, что голос звучит роботизированно, а речь отрывистая.

Есть и честная деталь. Когда в обучение добавили объяснения, качество распознавания сначала снизилось, и поднять его помог следующий этап обучения. Оценить качество самих объяснений, по признанию авторов, оказалось сложнее.

Важный вывод для практики: исходные аудиоязыковые модели без специального дообучения распознают дипфейки очень слабо, даже если дать им несколько примеров в промпте. Универсальная нейросеть «со слухом» сама по себе не детектор.

Как попробовать?

Готового сервиса для массового пользователя авторы в разборе не называют. Что можно сделать уже сейчас:

1. Найти статью HIR-SDD в материалах конференции Interspeech и изучить примеры объяснений модели.
2. Взять на вооружение список признаков из разметки: интонация, паузы, ударения, темп, тембр, фоновые звуки.
3. При подозрительном звонке «от родственника» слушать именно эти признаки и перезванивать человеку на известный вам номер.

Сравнения с YandexGPT и GigaChat авторы не приводят. HIR-SDD узкий исследовательский детектор, а не чат-ассистент, поэтому ставить их в один ряд некорректно. Для нашей аудитории полезнее другое: работа сделана российскими командами, и в обучающих данных есть русская речь.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: список из 14 признаков подделки готовый каркас для материала о защите от телефонных мошенников. Такие тексты особенно нужны читателям старшего возраста и их детям.

Маркетологу: если вы озвучиваете ролики синтезированным голосом, помните, что детекторы учатся слышать роботизированную интонацию и неестественные паузы. Честная пометка о синтезе снимает вопросы.

Предпринимателю в РФ и СНГ: если ваша поддержка или безопасность проверяет голос клиента, детектор с объяснением удобнее, чем голое число. Сотрудник видит причину отказа и может её перепроверить.

Какие вопросы задают чаще всего?

Можно ли установить HIR-SDD себе на телефон?

Нет, о готовом приложении в разборе речи не идёт. Это научный метод, показанный на конференции.

Подходит ли метод для видео, например чтобы найти дипфейк порно?

Нет. Работа касается только голоса и звука, про видео в ней ничего не сказано.

Почему бы не спросить обычную нейросеть, подделка ли это?

Авторы проверили: аудиоязыковые модели без дообучения справляются очень слабо. Доверять такой проверке нельзя, а вот кодовое слово с близкими сработает уже сегодня.