Цифровой аватар за пару дней: журналистка TechCrunch собрала ИИ-клона на Synthesia и показала каждый шаг

Журналистка Доминик Базинет из TechCrunch этой осенью создала собственного цифрового двойника на платформе Synthesia и подробно описала каждый шаг. Synthesia, стартап из Великобритании с офисом в Нью-Йорке, специализируется на генерации видео с ИИ-аватарами. По данным TechCrunch, компания достигла оценки в 4 млрд долларов в 2024 году и сообщила о годовой повторяющейся выручке свыше 100 млн долларов.

Базинет стала первым журналистом, для которого Synthesia сделала цифровой аватар. До неё компания создавала аватар только для своего сотрудника, главы по корпоративным коммуникациям Александру Войки, чтобы тот отвечал на типовые вопросы прессы.

Что понадобится?

• Платформа для создания аватара. Synthesia, HeyGen, D-ID или Colossyan. Synthesia предлагает три продукта: видеоплатформу с классическими аватарами (аватар читает ваш сценарий), агентную (агентный, то есть способный действовать самостоятельно) платформу Sessions для интерактивных сценариев и API для интеграции с другими сервисами.
• Мини-студия или хорошее освещение. В офисе Synthesia журналистку снимали в небольшой фотостудии: несколько ракурсов плюс двухминутная запись голоса.
• Согласие на использование вашего образа. Платформа требует письменное подтверждение, что вы разрешаете создание аватара.
• Материал для обучения интерактивного аватара. Текст, статья или база ответов, на которых аватар будет строить диалог. Базинет загрузила свою статью о венчурном мошенничестве.
• Время. Команде Synthesia потребовалось несколько дней на сборку аватаров.

Пошаговая инструкция

1. Выберите платформу и тип аватара. Synthesia предлагает два основных варианта. Персональный аватар просто озвучивает написанный вами сценарий. Интерактивный аватар слушает собеседника, понимает вопрос и отвечает, но только в рамках загруженного материала.

2. Пройдите фотосессию и запишите голос. Вас фотографируют с разных ракурсов и записывают двухминутный образец речи. Базинет отмечает: платформа не перенесла хрипоту, которая была у неё в день записи, голос получился чище оригинала.

3. Подпишите согласие. Без вашего разрешения аватар не создадут.

4. Подготовьте контент для обучения. Для интерактивного аватара загрузите текст или набор вопросов-ответов. Аватар Базинет был детерминированным (детерминированный значит, что он отвечает строго по загруженному материалу и не придумывает ничего от себя).

5. Выберите технический стек. Цифровой аватар Synthesia работает на связке из четырёх типов моделей:

6. Модель преобразования голоса в текст (voice-to-text) распознаёт речь собеседника
7. Агентная языковая модель анализирует смысл и формирует ответ
8. Модель преобразования текста в голос (text-to-voice) озвучивает ответ
9. Видеомодель Synthesia анимирует лицо аватара во время разговора

Клиенты могут подключить альтернативные модели от Cartesia, ElevenLabs, Google или OpenAI, а также разместить аватара на собственном облаке.

1. Протестируйте результат. Начните с персонального аватара: напишите простой сценарий и послушайте, как звучит голос. Затем переходите к интерактивному и проверьте, как он отвечает на вопросы по теме и отклоняет вопросы не по теме.

Что делать с этим прямо сейчас?

Авторам Дзена. Цифровой аватар может стать форматом для канала: вместо текстовой рубрики «ответы на вопросы» запишите интерактивное видео с аватаром, обученным на ваших лучших статьях. Пока Synthesia работает на английском языке, для русскоязычного контента стоит следить за локальными решениями.

Маркетологам. Synthesia уже предлагает продукт Roleplay Sessions: сотрудники тренируют, например, продающие презентации с интерактивным аватаром, который оценивает ответы. Это готовый инструмент для отдела обучения.

Предпринимателям в РФ и СНГ. Synthesia доступна через веб-интерфейс, ограничений по региону компания публично не объявляла. Из российских платформ, работающих с видеоаватарами, можно посмотреть на сервисы, использующие модели от Сбера или Яндекса, хотя прямых аналогов с интерактивными аватарами такого уровня на русском рынке пока нет.

Пока технология говорит в основном по-английски и стоит ощутимых денег, но скорость, с которой Synthesia масштабируется (от стартапа до оценки в 4 млрд долларов за несколько лет, по данным TechCrunch), говорит о том, что русскоязычные интерактивные аватары появятся быстрее, чем кажется, и те, кто разберётся в механике сейчас, получат фору.