Вред переживаний ИИ: избыточные рассуждения Qwen3.8 ухудшают код вместо улучшения

Автор провёл серию экспериментов на Хабре в двух частях. В первой он искал скорость локальной Qwen3.8-27B, во второй проверил, сохраняется ли качество после квантизации (уменьшения точности весов модели ради скорости). Результат оказался контринтуитивным: параметр reasoning_effort=xhigh, который должен был компенсировать потерю точности, на деле мешал модели решать задачи. Гипотеза «больше рассуждений, лучше результат» не подтвердилась.

Какую задачу решаем и что получим?

Вы хотите запустить большую языковую модель локально на Mac и использовать её каждый день для написания и отладки кода на C# или SwiftUI. Проблема: полноразмерная BF16-версия (с максимальной точностью весов) работает медленно, а сжатая версия вызывает сомнения в качестве. После прохождения инструкции вы будете знать, какой уровень квантизации выбрать и какой режим рассуждений выставить, чтобы модель отвечала быстро и по делу.

Что понадобится

• Mac Studio 2025 (Apple M3 Ultra, 512 ГБ объединённой памяти) или сопоставимый Mac с Apple Silicon и большим объёмом RAM
• Сервер oMLX для локального запуска моделей
• Draft-модель incoai/Qwen3.8-27B-DFlash2 для спекулятивного декодирования (когда вспомогательная модель предлагает блок будущих токенов (слов и их частей), а основная их проверяет)
• Три версии Qwen3.8-27B: BF16, 8-bit, 4-bit
• Около 2 часов на полный прогон 84 запросов качества и 45 запросов скорости

Пошаговая инструкция

1. Установите oMLX и загрузите модели. Вам нужны три версии target-модели (BF16, 8-bit, 4-bit) и одна draft-модель DFlash2. DFlash2 не самостоятельная модель, а помощник: он предлагает блоки токенов, а target-модель их подтверждает или отклоняет.

2. Настройте единый конвейер для всех трёх моделей. Параметры, которые автор зафиксировал:

Draft Window = 2048
Draft Sink = 0
Verify Mode = adaptive
L1 in-memory cache = включён
Draft-модель без квантизации

Менялась только квантизация target-модели. Всё остальное оставалось одинаковым, иначе сравнение теряет смысл.

1. Выполните warm-up перед каждым замером. Перед измерением скорости прогоните модель на нескольких запросах, чтобы кеш заполнился. Проверьте в логе, что DFlashEngine действительно загружен и завершил генерацию.

2. Составьте набор задач под свои реальные сценарии. Автор не взял готовые бенчмарки по двум причинам: они обрабатывались бы слишком долго, и открытого набора тестов для SwiftUI он не нашёл. Вместо этого он написал Python-бенчмарк для локального API oMLX из 28 quality-запросов на каждую модель.

Семь задач проверяли рассуждения, следование инструкции и анализ: - Инвентарь, расписание и надёжность с повторной попыткой - Строгий JSON и заданный русский формат - Анализ инцидента и расчёт стоимости владения поставщиком

Ещё 21 запрос покрывал разработку: семь задач, каждая в трёх профилях reasoning (рассуждений).

1. Задайте жёсткие критерии приёмки для кода. В C# ответ должен содержать только требуемый класс: без namespace, Main, доступа к файлам, сети и процессам. В SwiftUI недостаточно «в целом правильного» ответа. Нужен компилируемый экран с нужными элементами. Ответ, который не выполнил контракт, это переделка руками, а не «почти готовый результат».

2. Протестируйте три режима reasoning_effort. У Qwen3.8 режим рассуждений включён по умолчанию, глубину можно регулировать через параметр reasoning_effort. Автор проверял три уровня на каждой задаче разработки.

3. Не выкручивайте reasoning на максимум для сжатых моделей. Это главный вывод эксперимента. Гипотеза автора звучала логично: раз квантизация снижает точность, компенсируем это максимальным уровнем рассуждений (reasoning_effort=xhigh). На практике модель уходила в бесконечные размышления и не выдавала результат. Автор столкнулся с этим ещё на Qwen3.6, когда дал стандартную задачу по проекту SwiftUI и CLI-версия модели просто зависла в рассуждениях. Он закрыл процесс и решил, что модель не справляется. Как выяснилось, он поспешил.

Что показали цифры?

4-bit оказалась примерно в 2,2 раза быстрее BF16, 8-bit примерно в 1,8 раза. На отдельных сценариях 4-bit ускорила обычную генерацию в 3,6 раза, генерацию C# в 2,7 раза, а длинный prefill (обработку входного промпта) только в 1,2 раза. Это объяснимо: квантизация помогает при декодировании, где веса читаются многократно, а не при обработке длинного входа.

Отставание 4-bit от BF16 в формальном score составило 2,6 процентных пункта, у 8-bit 2 процентных пункта. Один прогон не даёт статистической гарантии, но этого достаточно, чтобы перестать считать 4-bit заведомо непригодной.

Часть разрыва оказалась артефактом проверки. В анализе инцидента обе квантизованные модели правильно определили причину, регион и оба времени, но выбрали набор доказательств E1, E5, E6, тогда как judge принимал только E2, E5, E6. Первый набор тоже логичен, он связывает проблему с выкладкой, подтверждает механизм и показывает восстановление.

Что делать с этим прямо сейчас, по ролям?

Разработчику на Mac с Apple Silicon. Попробуйте 4-bit Qwen3.8-27B через oMLX с DFlash2 как draft-моделью. Начните с умеренного reasoning_effort, не с максимального. Напишите пять своих типовых задач с жёсткими критериями приёмки и прогоните все три версии. Цифры автора показывают, что 4-bit не разваливается, но ваш стек может отличаться.

Автору Дзена или копирайтеру. Если вы используете локальные модели для генерации текстов, вывод тот же: не выкручивайте «глубину мысли» на максимум. Для текстовых задач квантизованная модель с умеренным reasoning часто отвечает точнее и быстрее, чем полноразмерная с избыточными рассуждениями.

Предпринимателю в РФ. Локальный запуск на Mac означает, что данные не уходят на внешние серверы. Для команд, работающих с чувствительным кодом или внутренней документацией, это практичный вариант. Из облачных альтернатив, доступных в РФ, для текстовых задач работают YandexGPT и GigaChat, но локальный Qwen даёт контроль, которого облако не обеспечит.

Главный практический вывод: не бойтесь квантизации, бойтесь избыточного reasoning. Модель, которая думает меньше, но по делу, обыгрывает модель, которая рассуждает бесконечно и выдаёт «убедительную чепуху». Проверяйте на своих задачах, с жёсткими критериями приёмки, а не впечатлениями.