Нейросеть для генерации изображений уместили в 512 КБ: ESP32 рисует лица за 5,4 секунды

Обычно нейросеть для генерации изображений вроде Stable Diffusion просит видеокарту с 4-8 ГБ памяти, а Flux хочет 12-24 ГБ. Автор проекта взял ESP32-S3, микроконтроллер с двумя ядрами по 240 МГц и 512 КБ оперативной памяти, и заставил его рисовать лица по текстовому описанию на русском языке. На генерацию картинки 64 на 64 пикселя уходит 5,4 секунды.

Проект не использует облачные сервисы: диффузия (процесс, при котором нейросеть постепенно превращает шум в картинку) выполняется целиком на самом чипе. Модель обучена на датасете CelebA (набор обучающих данных из 200 000 фотографий лиц с 40 атрибутами), а подписи к фотографиям сгенерированы на русском языке.

Что удалось уместить в 512 КБ?

• Латентная диффузия вместо попиксельной. Модель работает не с картинкой напрямую, а со сжатым представлением 16 на 16 на 4. Это в 12 раз меньше данных, чем полное изображение.

• Свой текстовый энкодер вместо CLIP. Стандартный текстовый энкодер CLIP из Stable Diffusion занимает 250 МБ, это в 500 раз больше всей оперативной памяти чипа. Автор написал крошечный трансформер (архитектура нейросети, которая обрабатывает данные параллельно) на 300 000 параметров со словарём из 45 русских «слов».

• Квантование до int8. Квантование (сжатие точности вычислений для экономии памяти) позволило хранить веса модели в формате int8, а векторные инструкции чипа S3 перемножают 16 пар int8 за одну операцию.

• 8 шагов вместо 50-1000. Метод Rectified Flow позволил получить приемлемый результат за 8 шагов диффузии вместо стандартных десятков и сотен.

• Русские подписи с простым стеммером. Для словаря на микроконтроллере каждое слово обрезается до пяти букв: «улыбающаяся» превращается в «улыба», «светлыми» в «светл». Грубый приём, но для 45 токенов работает.

• Декодер на 179 000 параметров. Только свёртки 3 на 3, ReLU и простейший апсемплинг. Никаких нормализаций, которые плохо ложатся на микроконтроллер.

Как попробовать самому?

1. Купить плату ESP32-S3. Отладочные платы продаются на маркетплейсах в РФ за несколько сотен рублей. Видеокарта не нужна.

2. Скачать прошивку и код проекта. Автор выложил исходники в открытый доступ. Для сборки потребуется среда разработки ESP-IDF (бесплатный набор инструментов от Espressif для программирования микроконтроллеров ESP32).

3. Залить прошивку на плату и ввести промпт (текстовое описание) на русском языке. Например, «улыбающаяся девушка со светлыми волосами». Через 5,4 секунды чип выдаст изображение лица 64 на 64 пикселя.

Есть ли аналоги в России?

Для генерации изображений по тексту в РФ доступны облачные сервисы: YandexART (часть экосистемы YandexGPT) и Kandinsky от Сбера. Оба работают через интернет, требуют учётную запись и зависят от серверов компании.

Проект на ESP32 не конкурент облачным сервисам по качеству. Но он показывает, что нейросеть для генерации изображений бесплатно можно запустить даже на устройстве без интернета и без подписки.

Частые вопросы

Нужна ли видеокарта для запуска?

Нет. Нейросеть для генерации изображений в этом проекте работает целиком на микроконтроллере ESP32-S3. Видеокарта не нужна ни для генерации, ни для запуска. Она может понадобиться только тем, кто захочет переобучить модель на своих данных, но готовая прошивка запускается без неё.

Можно ли генерировать что-то кроме лиц?

В текущей версии нет. Модель обучена только на датасете CelebA с фотографиями лиц. Автор выбрал этот домен как компромисс: лица хорошо узнаваемы даже при разрешении 64 на 64, а датасет достаточно структурирован, чтобы крошечная модель нашла закономерности.

Это полноценная замена Stable Diffusion или Midjourney?

Нет. Разрешение 64 на 64 пикселя, ограниченный словарь из 45 токенов и узкая тематика делают проект демонстрацией технологии, а не рабочим инструментом для контента. Ценность в другом: эксперимент доказывает, что латентная диффузия запускается на оборудовании стоимостью в несколько сотен рублей, и открывает дорогу более практичным моделям на микроконтроллерах.

Проект стоит попробовать тем, кто хочет руками понять, из чего состоит генеративная нейросеть, без аренды серверов и без оплаты API. Плата за несколько сотен рублей, бесплатный код и 5,4 секунды до результата: пожалуй, это самый дешёвый способ запустить собственную диффузию в 2025 году.