Локальные LLM-модели: компактная 9B решила задачу за 3 шага, а 30B провалилась за 24

В чём суть спора?

Разработчик агентного CLI-инструмента lema (опенсорсная утилита командной строки для запуска локальных LLM-моделей) три месяца тестировал два подхода. Он дал двум моделям семейства Qwen одну и ту же задачу: исправить падающие тесты в Python-проекте.

Результат оказался неожиданным. Qwen3.5-9B (компактная модель, квантизация в 8 бит) справилась за 3 шага. Qwen3-coder-30B (крупная модель, сжатая до формата iq2_xxs) сделала 24 шага, потеряла нить рассуждения, повторяла одни и те же вызовы инструментов и вернула уверенный, но неправильный ответ.

Автор утверждает: причина не в самой модели, а в harness, то есть в «обвязке», программном окружении, которое управляет тем, какие файлы модель видит, запускает ли тесты, что помнит между сессиями. Без такого окружения даже мощная модель работает вслепую.

Аргументы за: маленькая модель в хорошем окружении побеждает

Первый и самый весомый аргумент: цикл верификации. Когда модель заявляет «я исправил», harness не верит ей на слово, а сам запускает тесты. Если тесты не проходят, сообщение об ошибке возвращается в контекст, и модель продолжает работу. Модель физически не может завершить задачу, пока тесты не станут зелёными.

Это устраняет главную проблему: без обратной связи модель генерирует правдоподобный, но неверный ответ и останавливается. Автор сравнивает это с поваром, которому не дают пробовать еду: он может быть отличным поваром, но блюдо с вероятностью 50% окажется пересоленным.

Второй аргумент: память между сессиями. Когда задача проходит цикл «провал, затем успех», harness сохраняет короткий урок: что за задача, какая команда упала, что помогло. При следующей похожей задаче уроки подтягиваются через поиск по эмбеддингам (числовым «отпечаткам» текста, по которым находят похожие фрагменты) и ложатся в контекст до начала работы. Модель не изобретает одно и то же решение дважды.

Третий аргумент: умное управление контекстом. Длинные задачи переполняют контекстное окно (ограниченный объём текста, который модель может «видеть» одновременно). Исследование JetBrains Research (arXiv 2508.21433) показало: маскировка, замена тяжёлых выводов инструментов коротким плейсхолдером вроде «вывод скрыт, файл такой-то, 487 строк», на 52% дешевле суммаризации (пересказа всего диалога) и при этом точнее. Рассуждения модели сохраняются, а шум убирается.

Четвёртый аргумент: правильные имена инструментов. Исследование PA-Tool (arXiv 2510.07248) измерило эффект: одно только переименование инструментов под конвенции, знакомые модели из обучающих данных, даёт плюс 17% точности и минус 80% ошибок несоответствия. Без дообучения (обучения модели на ваших примерах), без изменения весов. Инструменты называются максимально предсказуемо: read_file, write_file, bash, никаких «творческих» имён.

Аргументы против: почему размер всё-таки имеет значение?

Первое возражение: результат получен на одной задаче. Два прогона на одном Python-проекте не заменяют системный бенчмарк. Модель в 30 миллиардов параметров могла проиграть из-за агрессивной квантизации (сжатия) до формата iq2_xxs, при котором теряется заметная часть качества. Сравнение 8-битной модели с моделью, сжатой до двухбитного формата, не совсем честное: крупную модель поставили в заведомо худшие условия по точности представления весов.

Второе возражение: harness помогает любой модели, не только маленькой. Если дать ту же «обвязку» крупной модели с нормальной квантизацией, она с высокой вероятностью покажет лучший результат. Аргумент «окружение важнее размера» не доказывает, что маленькая модель лучше, он доказывает, что окружение необходимо всем.

Третье возражение: эффект потолка. На простых задачах (исправить падающий тест) маленькая модель с хорошим harness действительно может быть достаточной. Но на задачах, требующих глубокого понимания архитектуры проекта, длинных цепочек рассуждений и нестандартных решений, разница в параметрах начинает играть роль, и никакое окружение это не компенсирует.

Четвёртое возражение: overthinking как аргумент уязвим. Автор ссылается на исследования (arXiv 2604.10739, 2507.14417), документирующие inverse scaling: при росте «бюджета на размышления» точность маленькой модели сначала растёт, потом падает. Но вывод «для маленьких моделей лучше действовать, чем думать» можно прочитать и как признание их слабости: модель, которой опасно давать думать дольше, возможно, просто недостаточно умна для сложной задачи.

Умная модель в плохом harness работает хуже, чем средняя модель в хорошем. Это контринтуитивно: мы привыкли думать, что качество равно размер. Но на практике разрыв между «9B не справляется» и «9B справился за 3 шага» это не веса, это инфраструктура вокруг них. : Автор проекта lema

Что реально ждать дальше?

Спор «размер против окружения» не закроется одним инструментом, но направление уже очевидно: в ближайший год выиграют не те, кто запустит самую большую локальную LLM-модель, а те, кто выстроит вокруг скромной модели грамотную обвязку с верификацией, памятью и управлением контекстом, и это касается не только кода, но и любой работы с текстом, где нейросеть должна не просто генерировать, а проверять себя.