Как я добавил лицо голосовому ИИ на Яндексе: Simli, Anam и проверка на iPhone

Пауза перед первым словом. Между последним переданным чанком звука и началом проигрывания аватаром есть задержка. Если пользователь видит лицо, которое молчит полсекунды после вопроса, впечатление ломается. Решение: начинать отправку звука в аватар сразу, как приходит первый чанк от Яндекса, не дожидаясь конца фразы.

Мобильный Safari и autoplay. На iPhone Safari не разрешает автозапуск видео со звуком без жеста пользователя. Кнопка «позвонить» считается жестом, но между нажатием и реальным появлением видеопотока проходит время на получение токена и старт WebRTC. К моменту, когда видео готово, жест уже «протух». Обходной путь: создать видеоэлемент и вызвать play() сразу по клику, до получения токена, а поток назначить позже. Safari запоминает, что элемент запущен жестом.

Мобильный интернет. На слабом канале WebRTC снижает качество видео, но не обрывает звук. Это допустимо: лицо становится менее чётким, разговор продолжается.

Ева и фон

Второй персонаж, Ева, показал другую проблему. Портрет был хорош, но на белом фоне выглядел вырезанной головой. Стоило добавить размытый интерьер за спиной, и восприятие изменилось. Аватар стал казаться человеком в комнате, а не маской на экране.

Фон генерировался отдельно и подкладывался под портрет до отправки в Anam. Сервис принимает изображение целиком: что нарисовано за пределами лица, он не трогает.

Итог

Айка получила лицо. Голосовой движок остался на Yandex Realtime, сервис аватара добавил картинку. Разговор начинается по клику, работает на iPhone, переживает слабый мобильный интернет. Код написан Claude Code, часть вариантов внешности генерировал Codex, но каждое решение проверялось вручную на живом телефоне.

Источник: авторский проект, задокументированный в процессе интеграции.

---

Голосовой ИИ-администратор Айка умел разговаривать, но оставался бестелесным голосом, и автор проекта решил дать ему лицо, не отказываясь от уже работающего движка Yandex Realtime, а подключив к нему отдельный сервис видеоаватара.

До сих пор создание говорящего аватара обычно означало переход на платформу, которая берёт на себя весь конвейер: распознавание речи, генерацию текста, синтез голоса и анимацию. Автор пошёл другим путём. Yandex Realtime (сервис Яндекса, работающий в режиме «речь в речь» без отдельных этапов распознавания и синтеза) уже обслуживал разговоры через браузер. Задача свелась к одному звену: взять звук, который генерирует Яндекс, и передать его в сервис аватара, чтобы тот рисовал лицо с синхронизированными губами в реальном времени.

Что понадобится?

• Работающий голосовой ИИ-ассистент с выходом звука в формате PCM16 (несжатый звук, где каждый отсчёт занимает 16 бит). В данном случае это Yandex Realtime, но подойдёт любой источник
• Аккаунт в сервисе видеоаватаров: автор протестировал Simli и Anam
• Сервер на FastAPI (Python-фреймворк для создания API), который уже обслуживает WebSocket-соединение (постоянный канал связи между браузером и сервером) с голосовым движком
• Портретное фото или сгенерированное изображение для аватара
• iPhone или Android-устройство для мобильного тестирования
• Claude Code для написания интеграционного кода, Codex для генерации вариантов внешности (опционально)
• Примерное время: от нескольких часов до пары дней на отладку, основное время уходит на мобильные нюансы

Пошаговая инструкция

1. Определите, что отдаёт ваш голосовой движок. В данном проекте Yandex Realtime передаёт браузеру звук кусками (чанками) PCM16 на частоте 24 кГц через события pcm_chunk. Зафиксируйте формат и частоту: от этого зависит следующий шаг

2. Пересчитайте частоту звука под требования сервиса аватара. Simli принимает 16 кГц, для Anam автор тоже использовал 16 кГц. Если ваш источник отдаёт 24 кГц, нужен ресемплер (пересчётчик частоты). Критически важно переносить дробную позицию и последний отсчёт между чанками, иначе на стыках кусков появятся щелчки. Пример ресемплера на JavaScript:

const AVATAR_RATE = 16000;
const resampler = {
  pos: 0, prev: 0,
  reset() { this.pos = 0; this.prev = 0; },
  run(int16, inRate) {
    const n = int16.length;
    if (!n) return new Int16Array(0);
    const step = inRate / AVATAR_RATE;
    const out = new Int16Array(Math.ceil((n - this.pos) / step) + 1);
    let p = this.pos, k = 0;
    while (p < n - 1) {
      const i = Math.floor(p), f = p - i;
      const a = i < 0 ? this.prev : int16[i];
      out[k++] = Math.round(a + (int16[i + 1] - a) * f);
      p += step;
    }
    this.pos = p - n;
    this.prev = int16[n - 1];
    return out.subarray(0, k);
  },
};

1. Защитите ключ сервиса от утечки в браузер. Создайте на сервере эндпоинт (точку входа) для выдачи короткоживущих токенов сессии. В проекте это POST /voice/avatar-session. Сервер проверяет origin (источник запроса) и ограничивает выдачу: 6 токенов в час на один IP, 30 в час на все запросы

2. Подключите SDK (набор инструментов разработчика) сервиса аватара. При использовании Anam обратите внимание: звук и картинка воспроизводятся одним элементом <video>, и его нельзя оставлять в режиме muted. Иначе лицо будет шевелить губами молча. Для повышения качества на старте добавьте параметр sessionOptions.videoQuality: "high", без него видео начинается с низкого разрешения и переключается на высокое только через несколько секунд

3. Начинайте отправку звука сразу с первым чанком. Не ждите, пока Яндекс закончит фразу. Если аватар получит звук с задержкой, пользователь увидит лицо, которое молчит после вопроса, и впечатление ломается

4. Добавьте обработку перебивания. У Anam для этого есть две команды: interruptPersona() останавливает текущую речь аватара, endSequence() закрывает последовательность входного звука. Вызывайте обе при перебивании

5. Решите проблему autoplay на iPhone. Safari не разрешает автозапуск видео со звуком без жеста пользователя. Между нажатием кнопки «позвонить» и реальным появлением видеопотока проходит время на токен и старт WebRTC (технология передачи аудио и видео в реальном времени). К этому моменту жест уже «протух» для браузера. Решение: создайте элемент <video> и вызовите play() сразу по клику, до получения токена, а поток назначьте позже. Safari запоминает, что элемент запущен жестом

6. Добавьте фоллбэк (запасной режим). Если токен не получен за 8 секунд или SDK не запустился за 15, страница возвращается к обычному голосовому режиму. Лицо здесь украшение, а не условие разговора

7. Подготовьте портрет с фоном. Сервис принимает изображение целиком: что нарисовано за пределами лица, он не трогает. На белом фоне аватар выглядит вырезанной головой. Размытый интерьер за спиной делает персонажа убедительнее

Что это даёт вам прямо сейчас?

Авторам Дзена и контент-мейкерам. Говорящий аватар на сайте или лендинге привлекает внимание и удерживает посетителя. Если вы уже используете голосового бота для консультаций по продуктам или курсам, лицо превращает «голос из динамика» в собеседника. Это не требует смены платформы.

Маркетологам. Живое лицо на посадочной странице может повысить вовлечение по сравнению с текстовым чатом или голосовым виджетом без визуала. Технически это один дополнительный сервис поверх существующей инфраструктуры, а не перестройка с нуля.

Разработчикам и предпринимателям в РФ. Связка работает с Yandex Realtime, то есть голосовая часть остаётся на российском сервисе. Simli и Anam пока не имеют прямых аналогов в РФ. Если доступ к ним ограничен, сам принцип «голосовой движок отдельно, анимация лица отдельно» позволяет подключить любой будущий российский сервис видеоаватаров без переписывания голосовой логики.

Автору Дзена, который думает о голосовом помощнике на своём сайте, стоит запомнить одну вещь из этого проекта: архитектура «голос отдельно, лицо отдельно» означает, что вы не привязаны ни к одному поставщику целиком, и если завтра появится сервис лучше, вы замените один модуль, а не всю систему.