Полтора месяца ускорял MoE на GTX 1660 SUPER: штатный флаг llama.cpp выиграл в 2,44 раза

Историю опубликовал пользователь Habr, тепломеханик по профессии, не программист. С августа он ведёт форк llama.cpp и тестирует MoE-модели (Mixture of Experts, архитектура, где на каждый токен работает лишь часть «экспертов»-подсетей, а не вся модель целиком). Стенд нарочито скромный: Ryzen 5 1600, 24 ГБ DDR4, GTX 1660 SUPER с 6 ГБ видеопамяти, SATA SSD, Windows 10. Код пишут ИИ-агенты (программы, которые сами выполняют цепочки действий по заданию), автор ставит задачи и проверяет цифры.

Что понадобится

• Железо: видеокарта с 6 ГБ и больше, от 24 ГБ оперативной памяти, SSD (даже SATA подойдёт).
• Софт: актуальная сборка llama.cpp (llama-server или llama-cli), где флаг -fit уже встроен.
• Модель: любая MoE-модель в формате GGUF. Автор использовал gpt-oss-20b в квантизации MXFP4 (файл 11,3 ГиБ).
• Время: базовая настройка занимает минуты, но подбор убатча (ubatch, размер порции токенов при обработке запроса) под конкретную машину потребует нескольких тестовых прогонов.

Пошаговая инструкция

1. Удалите -ngl 99 из команды запуска. Если модель не влезает в видеопамять целиком, этот флаг заставляет драйвер Windows молча перебрасывать лишнее в общую память. Скорость падает и начинает гулять от прогона к прогону. По замерам автора, -ngl 99 запрашивает у карты 10 949 МиБ при доступных 6 143 МиБ, переподписка в 1,8 раза. Чтение с диска за прогон удваивается.

2. Запустите llama-server или llama-cli без -ngl, -ot и -ncmoe. Флаг -fit включён по умолчанию и сам подбирает раскладку: внимание и столько экспертов, сколько реально помещается, оставляет на карте, остальных экспертов кладёт в оперативную память. С ростом контекста KV-кэш (кэш ключей и значений, рабочая память модели для текущего диалога) занимает видеопамять, и -fit автоматически перемещает экспертов в ОЗУ.

# минимальный запуск, -fit работает сам
llama-server -m gpt-oss-20b.gguf

1. Подберите убатч (-ub) под свою длину запроса. По умолчанию он 512. На стенде автора 1024 дал ускорение в 1,28 раза при чтении запроса на 16 000 токенов. Но кривая немонотонная: на 4096 чтение с диска подскочило впятеро из-за нехватки кэша страниц, а 2048 давал нестабильные результаты.

# пример с убатчем 1024
llama-server -m gpt-oss-20b.gguf -ub 1024

1. Выставьте KV-кэш в q8_0. По замерам автора, квантизация KV-кэша (сжатие рабочей памяти модели) до q8_0 почти не стоит качества. Формат q4_0 экономит больше памяти, но обходится примерно в десятую часть перплексии (метрика «уверенности» модели в ответе, чем ниже, тем лучше), и каждый седьмой наиболее вероятный токен меняется на другой. Автор подчёркивает: эти числа зависят от конкретной модели, переносить их вслепую нельзя, он сам попался на этом, перенеся замер с OLMoE на gpt-oss.

2. Проверяйте замеры на реальной длине запроса. Короткие бенчмарки llama-bench дают искажённую картину. На коротком замере подталкивание маршрутизатора MoE к «горячим» экспертам давало до полуторакратного ускорения, а на длинном запросе (16 000 токенов) эффект исчез: чтение длинного запроса само прогревает кэш почти всеми экспертами.

Что не сработало?

Спекулятивное декодирование (приём, когда черновая модель заранее «угадывает» продолжение, а основная только подтверждает или отвергает): у gpt-oss нет собственной MTP-головы (Multi-Token Prediction), поэтому черновик брался из n-грамм контекста, а отдельная черновая модель заняла бы ту самую память, которой и так не хватает.

Подталкивание маршрутизатора MoE к «горячим» экспертам: идея красивая, стоит около 1% перплексии, но на длинном запросе эффект обнулился. Кэш и так прогревается естественным образом.

Что делать с этим прямо сейчас?

Автору Дзена, который использует локальные модели для генерации черновиков или рерайта: проверьте свои скрипты запуска. Если там стоит -ngl 99, а модель не влезает в видеопамять целиком, вы теряете скорость вдвое. Уберите флаг и дайте -fit работать самому.

Маркетологу и копирайтеру, который думает про локальный инференс (запуск модели на своём компьютере, без облака): GTX 1660 SUPER за 15-20 тысяч рублей на вторичке плюс 24 ГБ ОЗУ позволяет гонять 20-миллиардные MoE-модели без подписки на API. Для рутинных задач по тексту этого достаточно.

Предпринимателю в РФ: история показывает, что для экспериментов с открытыми моделями (open-source, модели с доступным кодом и весами) не нужны серверные карты. Из доступных в России инструментов: YandexGPT и GigaChat работают через API, но если нужна автономность и конфиденциальность данных, локальный llama.cpp на бюджетном железе закрывает эту задачу.

Самый практичный вывод из полутора месяцев экспериментов: если у вас карта на 6 ГБ и MoE-модель, которая в неё не влезает, запустите llama-server без единого флага раскладки, подберите убатч от 1024, поставьте KV-кэш в q8_0 и замерьте на реальной длине запроса. Скорее всего, вы уже получите лучший результат, который можно выжать из этого железа.