Музыка и звуки для игры на RTX 5060 Ti: где хватило референса, а где понадобилось дообучение

Разработчик Dungeon Cult, игры про управление подземельем, описал полный цикл создания звука: голоса существ, фоновая музыка, вступительная песня. Всё делалось локально на RTX 5060 Ti с 16 ГБ видеопамяти. Результат неочевидный: для песни хватило аудиореференса и собственного текста без дообучения, а фоновую музыку удалось приручить только после часового обучения LoRA (дополнительный набор весов, который учит модель воспроизводить конкретный стиль). При этом лучшей оказалась не финальная, а промежуточная версия модели.

Что понадобится?

• Видеокарта: NVIDIA RTX 5060 Ti с 16 ГБ памяти (или аналог с таким же объёмом VRAM)
• Модели: Stable Audio 3 Medium (открытые веса, Community License) для звуковых эффектов, ACE-Step 1.5 (лицензия MIT) для музыки
• Обучающие данные: 6 треков нужного стиля, нарезанные на минутные фрагменты (32 примера)
• Время: генерация эффектов от 64 секунд на первый результат, дообучение ACE-Step 1 час 10 минут, плюс прослушивание и отбор вручную
• Движок: Unreal Engine для проверки звука в контексте игры

Начните с характера голоса, а не со списка реакций

1. Определите, какой звук нужен персонажу по смыслу. Для крылатого существа без рта обычный рык не подходил. Автор сформулировал три направления: сухой воздушный шорох, полый телесный резонанс, треск натянутых перепонок. Каждое описание задаёт не громкость или длину, а физическую природу звука.

2. Сгенерируйте по 2-3 коротких варианта на каждый характер в Stable Audio. Важно просить именно короткий одиночный звук без музыки и фонового шума. Иначе придётся вырезать нужные полсекунды из целой сцены.

Промпт для Stable Audio (пример направления B):
"hollow body resonance, faceless winged creature, single short attack vocalization, no music, no background noise"

1. Выберите характер, затем генерируйте остальные реакции. Сначала определите тембр и манеру на двух эмоциях (спокойный отклик и боль). Только после утверждения направления делайте атаки, злость, смерть и остальное.

2. Проверьте скорость: набор из 8 событий по 3 варианта занял около 94 секунд. Первый результат потребовал примерно 64 секунды, остальные 23 файла суммарно около 30. Но это время получения файлов, а не готовой озвучки.

3. Слушайте в контексте игры. Сначала одно существо отдельно, затем несколько одновременно. Приятная одиночная реакция может быстро надоесть, если повторяется хором.

Почему текстовое описание не справилось с музыкой?

Для фоновой музыки строительства подземелья нужен был приглушённый, тревожный саундтрек в духе Dungeon Keeper. Но по описанию «мрачное подземелье» ACE-Step выдавал бодрый эпический трейлер.

Причина нашлась в архитектуре модели. Перед генерацией встроенная языковая модель дополняла описание и музыкальные параметры. Автор задавал один характер, а до генератора доходила уже интерпретация модели. Решение: отключить автодополнение (thinking и автоматическое дополнение метаданных) и явно задать минорную тональность.

Когда и этого не хватило, автор перешёл к дообучению.

Дообучение ACE-Step за 1 час 10 минут: пошагово

1. Подготовьте примеры. Шесть треков нужного стиля нарезали на минутные фрагменты со сдвигом 45 секунд. Получилось 32 обучающих примера. Целые композиции не помещались в память при обучении.

2. Запустите обучение LoRA. На RTX 5060 Ti процесс занял 1 час 10 минут 6 секунд. Модель сохраняла промежуточные версии (чекпоинты).

3. Не доверяйте только метрике. Обучение прошло 300 эпох (проходов по примерам), ошибка снижалась с 0,7476. Но автор выбрал версию после 100-го прохода. Поздние варианты на слух становились светлее или слишком напоминали исходники, хотя формально были «лучше».

4. Проверьте память. В отчёте обучения значилось 5 ГиБ выделенной памяти PyTorch (фреймворк для обучения нейросетей). Это не всё потребление видеокарты: при генерации эффектов свободная память карты снижалась примерно с 14,9 до 7,3 ГиБ. Обещать работу на карте с 6 ГБ по этим цифрам нельзя.

Песня для вступления: где дообучение не потребовалось

Вступительная песня длительностью 50 секунд была сделана без дообучения. Хватило аудиореференса (готовой записи как звукового примера) и собственного текста. Это показывает границу: когда нужен конкретный жанр и настроение одного трека, референс работает. Когда нужно устойчиво воспроизводить стиль в серии композиций, без дообучения результат нестабилен.

Что делать с этим прямо сейчас?

Разработчику инди-игры в России: RTX 5060 Ti доступна на российском рынке. Все упомянутые модели (Stable Audio 3 Medium, ACE-Step 1.5) запускаются локально, без облачных подписок и без VPN. Час дообучения на одной карте экономит бюджет на звукорежиссёра для прототипа.

Автору Дзена, который пишет про геймдев или нейросети: конкретные цифры (94 секунды на набор эффектов, 1 час 10 минут на дообучение, 32 примера для LoRA) превращают обзорную статью в практическую. Такой формат собирает сохранения.

Маркетологу и продюсеру: генерация звука для рекламных роликов и подкастов работает по тем же принципам. Но автор честно предупреждает: лицензии у моделей разные (Community License, Apache 2.0, MIT), условия стоит проверить перед коммерческим использованием.

Главный вывод из этого опыта не про железо и не про конкретные модели. Он про границу между «описать словами» и «показать примером». Для единичного трека хватает референса. Для устойчивого стиля в серии композиций нужно дообучение. А для выбора лучшей версии не хватает никакой метрики, только ваши уши и контекст, в котором звук будет жить.