Нейросеть для обработки видео из четырёх звеньев: нарезка доклада обходится в 25 рублей

Автор пайплайна Акимов опубликовал подробный разбор архитектуры бота, который принимает файл или ссылку на YouTube, Google Drive или Яндекс Диск и возвращает готовые вертикальные ролики. Ниже собран практический гайд по каждому шагу: что нужно, как повторить, где споткнётесь.

Что понадобится?

• Сервер с CPU и несколькими ядрами (GPU не требуется, распознавание параллелится по ядрам процессора)
• Whisper medium (открытая модель распознавания речи от OpenAI) для превращения аудио в текст с таймкодами
• Доступ к языковой модели (LLM, large language model, большая языковая модель) для поиска ярких фрагментов в расшифровке
• Vision-модель (модель, которая «видит» картинку и описывает её) для определения текущего слайда по кадру видео, с параметром detail=high
• ffmpeg (бесплатная утилита для монтажа и обработки видео из командной строки)
• Telegram Bot API для приёма файлов и отдачи результата
• Время на один прогон: зависит от длины доклада, основное узкое место Whisper на CPU

Пошаговая инструкция

1. Распознайте речь через Whisper

Запустите Whisper (medium) на аудиодорожке доклада. Модель выдаст слова с таймкодами. Ключевой момент: после распознавания склейте слова обратно в предложения. Если нарезать по отдельным словам, мысль в итоговом клипе будет рваться на полуслове.

На CPU распознавание медленное, поэтому автор распараллелил процесс по ядрам сервера. Для 40-минутного доклада это критично.

2. Найдите «хайлайты» через языковую модель

Отправьте склеенные предложения с таймкодами в LLM и попросите выбрать 5-6 самодостаточных фрагментов. Наивный промпт (промпт, текстовая инструкция для нейросети) формата «найди вирусные моменты» работает плохо: модель начинает фрагмент с середины фразы или со связки вроде «Но...».

Вот что помогает:

• Запрашивайте диапазон по номерам предложений [from, to], а не по секундам
• Пропишите в промпте жёсткие критерии отбора: история, факт, мнение или юмор
• Явно запретите стартовать фрагмент со связок
• После ответа модели «доснэпьте» границы к реальным границам предложений в расшифровке
• Заложите повторные запросы (ретраи) на случай кривого JSON или ошибки 503, модель периодически сбоит, но второй запрос обычно проходит

3. Определите слайд для каждого момента

Для каждого таймкода фрагмента нужно понять, какой слайд презентации показывался на экране. Автор пробовал сравнение хешей изображений (image-hash, цифровой «отпечаток» картинки), но в итоге отказался: vision-модель с параметром detail=high определяет слайд точнее, потому что «читает» текст на слайде, а не просто сравнивает пиксели.

4. Соберите композицию одним проходом ffmpeg

Итоговый вертикальный ролик делится на три зоны: спикер, субтитры, слайд. Всё собирается за один проход ffmpeg. Три находки автора:

• Субтитры через drawtext, а не через файл формата .ass. Контроль над переносом строк по ширине карточки, размером шрифта и таймингом получается чище
• Полуинтервал для таймингов субтитров. Используйте enable через комбинацию gte + lt (больше-или-равно начала, строго меньше конца), а не функцию between. Иначе на стыке двух фрагментов оба субтитра рисуются одновременно
• Динамическая раскладка. Когда спикера не видно (общий план, перебивка), карточка спикера уходит за кадр, слайд переезжает в центр через плавную функцию, а субтитры меняются через кросс-фейд, чтобы текст не налезал на слайд

5. Центрируйте спикера в кадре

В вертикальном ролике спикер должен быть по центру. Автор использует трекинг лиц (отслеживание положения лица в кадре) и ищет, у кого больше движения губ в окне примерно 1,2 секунды. Без этого порога бот путается, когда на слайдах появляются мемы или фотографии с людьми. Дополнительно помогает сегментация (разбивка) по склейкам монтажа: если камера переключилась, заново ищем активного спикера.

Что делать с этим прямо сейчас?

• Авторам Дзена и спикерам: если вы выступаете на конференциях, один доклад даёт 5-6 готовых вертикалок для соцсетей. Нейросеть для обработки видео в такой связке экономит часы ручного монтажа. Закиньте ссылку на запись в бот и получите нарезку
• Маркетологам: себестоимость 15-25 рублей за прогон позволяет обрабатывать десятки докладов без бюджета на видеомонтажёра. Первая нарезка бесплатна, это порог входа для теста
• Предпринимателям в РФ: весь пайплайн работает на CPU-сервере, Whisper запускается локально, vision-модель и LLM вызываются через API. Если используете отечественные серверы, STT (speech-to-text, распознавание речи) обходится бесплатно. Зависимость от зарубежных GPU-облаков минимальна

Бот доступен в Telegram: reels_akimov_bot. Автор просит обратную связь именно по качеству выбора хайлайтов, и если у вас есть запись доклада, это хороший способ проверить пайплайн на реальном материале и заодно получить контент для своих площадок.