Квантование нейросетей почти не портит картинку: сэмплер и CFG влияют сильнее

Квантование нейросетей означает сжатие весов модели до более грубых чисел, чтобы она поместилась в память домашней видеокарты. Это похоже на фото, сохранённое в пониженном качестве. Почти все, кто запускает Flux или Qwen-Image у себя, работают именно с такими весами, и среди них давно ходит совет не брать навороченные сэмплеры: мол, они накапливают ошибку.

Сэмплер здесь означает способ, которым модель шаг за шагом проявляет картинку из шума, как фотограф проявляет плёнку. Исследователи, которые раньше предложили сэмплер Flow-WLS и выложили работу на Zenodo, проверили этот совет. По их собственным словам, результат оказался «неудобен для нас самих».

Что нового в выводах о сэмплерах?

• Шум от настоящих INT8-ядер ComfyUI почти не виден на итоговой картинке. INT8 означает 8-битный формат чисел, ComfyUI работает как программа-конструктор для генерации изображений.
• Этот шум белый, то есть это случайные ошибки, не связанные между соседними шагами. Поэтому его усиливают методы высокого порядка, которые опираются сразу на несколько предыдущих шагов.
• Выбор сэмплера и CFG влияют сильнее квантования. CFG задаёт силу, с которой модель держится за ваш промпт.
• Собственный Flow-WLS авторов на малом числе шагов проиграл Euler, самому простому и популярному сэмплеру.
• Лучшими оказались простые методы второго порядка, а для дистиллированных моделей третьего. Дистиллированная модель здесь означает облегчённую версию, которая работает при CFG 1.

Цифры из отчёта такие. Ошибка INT8-ядер составила 1,3% при CFG 1 и 5,7% при CFG 4. Разница между картинками с квантованием и без него по LPIPS вышла 0,014 и 0,029. LPIPS показывает, насколько две картинки различаются на взгляд человека: чем ближе к нулю, тем меньше разницы.

Метод AB-4 почти вдвое усиливает шум квантования. Однако его собственная ошибка, от 0,5 до 0,8, в десятки раз больше эффекта от квантования, который не превышает 0,02. Метод второго порядка AB-2 обошёл Euler во всех 12 проверенных сочетаниях шагов и CFG на модели Anima.

Отдельно ценю, что авторы заранее записали 15 гипотез с условиями проверки и оставили в тексте неподтвердившиеся. Вывод «Euler лучший» из их первого эксперимента они сами отозвали, когда добавили AB-2 в сравнение.

Как попробовать новые сэмплеры в ComfyUI?

1. Возьмите папку с узлами из публикации авторов.
2. Положите её в ComfyUI/custom_nodes/.
3. В выпадающем списке сэмплеров выберите метод второго порядка (в отчёте он обозначен AB-2) для обычных моделей при CFG от 3 до 5. Для дистиллированных Flux3-Klein и Krea 2 при CFG 1 выбирайте метод третьего порядка (AB-3).
4. Сравните результат с Euler на том же seed (числе, которое задаёт стартовый шум) и том же числе шагов.

Полная инструкция по установке в переданном материале обрывается, поэтому сверяйтесь с текстом авторов.

Российская альтернатива решает другую задачу

Из доступных в РФ генераторов картинок подойдут Kandinsky и Шедеврум, но это облачный сценарий. Исследование касается только моделей, которые вы запускаете на своей видеокарте в ComfyUI. Если локальная установка для вас сложна, этот материал можно пропустить без потерь.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена, который рисует обложки локально: на Krea 2 при 12 шагах Euler даёт «пластиковую» кожу (LPIPS 0,34), а AB-3 возвращает поры и веснушки (0,21). Для портретов к статьям это заметная разница.

Маркетологу: на Anima при 8 шагах Euler оставил почти чёрный шум, а DPM++ 2M и AB-2 дали законченную картинку. Меньше шагов означает быстрее креатив на той же видеокарте.

Предпринимателю: генерация идёт на вашем компьютере, без облачной подписки. Достаточно сменить сэмплер в списке, новое железо не нужно.

Что чаще всего спрашивают про квантование нейросетей?

Портит ли квантование картинку?

По замерам авторов, почти нет: разница с неквантованной версией по LPIPS 0,014 при CFG 1 и 0,029 при CFG 4. Глазом это не отличить.

Сколько шагов ставить?

AB-4 и длинные окна Flow-WLS при 12 шагах и меньше ни разу не оказались лучшим выбором. При сильном CFG DPM++ 2M обгоняет Euler начиная с 16 шагов.

Нужен ли новый сложный сэмплер?

Нет. Подгонка фильтра по данным дала выигрыш не больше 3,4% над лучшим существующим правилом. Простой метод второго порядка в выпадающем списке ComfyUI закрывает задачу лучше любой экзотики.