Генерация лица нейросетью: поэтапная сборка портрета точнее одного промпта

Проект делала команда Singularis для заказчика, которому требовался датасет фотореалистичных портретов под биометрическое приложение. Предыдущие попытки давали картинки, которые выглядели как рисунки, а не фотографии. Задача стояла конкретная: найти способ генерировать изображения локально, с предсказуемым контролем каждого атрибута.

Какую проблему решает поэтапная генерация?

Если перечислить все характеристики человека в одном промпте (промпт, текстовая инструкция для нейросети), часть признаков теряется или начинает конфликтовать с другими. Добавили очки, и нейросеть изменила форму лица. Сменили пол, и персонаж стал непохож на исходный.

Команда Singularis разделила генерацию на этапы: сначала базовый портрет с совместимыми признаками, затем добавление сложных атрибутов по одному. Это дало предсказуемый результат даже при десятках параметров.

Что понадобится

• Stable Diffusion (открытая модель для генерации изображений), установленная локально
• ControlNet (модуль для управления позой, контурами и другими структурными параметрами через референсное изображение)
• IP Adapter (модуль, который позволяет задавать стиль или внешность через картинку-образец вместо текста)
• Compel (библиотека для работы с длинными промптами и управления весом отдельных слов, то есть их влиянием на результат)
• Матрица совместимости атрибутов: таблица, где заранее отмечено, какие признаки можно задавать вместе, а какие лучше добавлять на отдельных шагах
• Время: настройка пайплайна займёт от нескольких часов до пары дней, зависит от опыта работы со Stable Diffusion

Пошаговая инструкция

1. Сравните модели и выберите базовую. Команда Singularis тестировала DALL-E, Midjourney и разные версии Stable Diffusion. Заказчик выбрал локальное решение на Stable Diffusion, потому что оно позволяет работать без облака и полностью контролировать процесс.

2. Составьте матрицу совместимости атрибутов. Выпишите все нужные параметры: возраст, пол, форма лица, цвет и длина волос, причёска, очки, борода и так далее. Разделите их на две группы: совместимые (можно задавать в одном промпте, не конфликтуют друг с другом) и конфликтующие (при одновременной генерации один параметр ломает другой).

3. Сгенерируйте базовый портрет через text-to-image. Включите в промпт только совместимые признаки. Используйте Compel для управления весом отдельных слов:

prompt = "photo of a 35 year old caucasian woman, oval face, brown eyes, short dark hair, neutral expression, studio lighting, front view"

Через Compel можно усилить влияние ключевого признака, например, поставив ему вес выше единицы, чтобы нейросеть не «забыла» его среди остальных.

1. Добавляйте сложные атрибуты поэтапно через img2img. Возьмите полученное базовое изображение и передайте его в режим img2img (image-to-image, генерация нового изображения на основе существующего). Добавьте один конфликтующий признак, например очки:

input_image = "base_portrait.png"
prompt = "same person wearing thin metal frame glasses"
strength = 0.35

Параметр strength (сила изменения) держите низким, от 0.3 до 0.4, чтобы нейросеть меняла только нужный атрибут, а не перерисовывала лицо целиком.

1. Используйте ControlNet для структурного контроля. Если нужно сохранить позу или контур лица при добавлении нового признака, подключите ControlNet с картой контуров или позы от базового изображения. Это не даёт генерации «уехать» от исходного портрета.

2. Подготовьте рекомендации по ключевым словам для каждого атрибута. Для одного и того же признака разные формулировки дают разный результат. Зафиксируйте, какие именно слова работают лучше всего для вашей модели, и используйте их как справочник.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена. Если вам нужны уникальные портреты для иллюстраций, поэтапный подход позволяет получить именно того персонажа, который нужен, а не случайное лицо. Не обязательно поднимать локальный Stable Diffusion: принцип «сначала база, потом детали» работает и в облачных сервисах, просто делайте несколько итераций вместо одного промпта.

Маркетологам. Генерация лица нейросетью для рекламных креативов и лендингов перестаёт быть лотереей, когда вы контролируете каждый атрибут по отдельности. Это снимает зависимость от фотостоков и ускоряет тестирование гипотез.

Предпринимателям в РФ. Пайплайн работает полностью локально, без передачи данных в облако. Для биометрических и других чувствительных задач это критично. Stable Diffusion, ControlNet и Compel доступны в России без ограничений, это открытые инструменты.

Принцип, который вынесла команда Singularis, укладывается в одно предложение: при большом количестве параметров разделяйте совместимые и конфликтующие признаки и добавляйте их на разных этапах генерации. Это работало на моделях прошлого поколения, работает на нынешних и, скорее всего, останется актуальным для следующих.