Локальные нейросети за 43 тыс. ₽: модель на 125 млрд параметров работает на старом ПК

Обычно большая модель упирается в видеопамять: всё, что не влезло в карту, работает в разы медленнее. Автор разбора, опубликованного вместе со скриптами и сырыми данными замеров, обошёл это за счёт устройства самой модели и тонкой раскладки её частей между видеокартой и процессором. Он сравнил два движка для инференса (запуска готовой модели для ответов) и описал, какие настройки дали прирост, а какие навредили.

Что нового в этом подходе?

• Модель устроена как смесь экспертов (Mixture-of-Experts, MoE): внутри 48 слоёв по 512 узких «специалистов», но на каждый токен включается лишь малая часть, порядка 6 млрд параметров из 125 млрд.
• Ненужные эксперты лежат в обычной памяти. Видеокарта держит только «горячую» часть, остальное считает процессор с 22 ядрами.
• Файлы модели весят от 95 до 98 ГБ после квантования (сжатия весов с небольшой потерей точности). В 8 ГБ видеопамяти помещается меньше десятой части.
• Ручная раскладка в llama.cpp дала от 20 до 26% прироста скорости генерации без покупки нового железа. Видеопамять в финале заполнена на 7666 из 8192 МиБ.
• Движок Strata сам решает, каких экспертов держать на карте, и угадывает несколько токенов вперёд (метод MTP, Multi-Token Prediction), а основная модель проверяет догадки пачкой.
• Перенос модели с жёсткого диска на быстрый твердотельный накопитель NVMe дал, по словам автора, ощутимую разницу.

Отдельная находка: журнал llama.cpp советовал включить режим загрузки, который якобы ускоряет работу. На деле обработка входящего текста упала с диапазона от 82 до 99 токенов в секунду до диапазона от 10 до 29. Автор прямо пишет: советам из журнала слепо не доверяйте.

Деталь, которую легко пропустить: базовая версия llama.cpp эту модель не понимает. Для честного сравнения автор собрал патченную версию движка из исходников Strata, на это ушло около 15 минут.

Как повторить сборку у себя?

1. Соберите машину по образцу автора: процессор Intel Xeon E5-2696 v4 (22 ядра, 44 потока), 128 ГБ памяти DDR3-1600, видеокарта GTX 1070 на 8 ГБ. Плата с процессором и памятью обошлась ему примерно в 35 тысяч рублей, карта с рук в 8 тысяч.
2. Поставьте быстрый накопитель NVMe и храните модель на нём, а не на жёстком диске.
3. Скачайте квантованные файлы модели в формате GGUF (так хранят сжатые модели для домашнего запуска) и запустите их через Strata или собранную из её исходников версию llama.cpp.
4. Подбирайте раскладку слоёв постепенно и следите за видеопамятью. У автора лишняя матрица на 425 или 450 МиБ уже не влезала без урезания контекста.

Чем это отличается от YandexGPT и GigaChat?

Из доступных в РФ аналогов, YandexGPT и GigaChat. Они работают в облаке: тексты уходят на серверы компании, доступ зависит от тарифов и правил сервиса. Локальная сборка работает у вас дома, но требует настройки руками и терпения.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Локальная модель подходит для черновиков, рерайта собственных заметок и работы с текстами, которые не хочется отдавать в облако. Начните с малой модели на текущем компьютере, чтобы понять, нужен ли вам такой инструмент вообще.

Маркетологу. Ценность здесь в предсказуемых затратах: железо покупается один раз, без помесячной оплаты за запросы. Посчитайте свой объём генераций, прежде чем собирать машину.

Предпринимателю в РФ и СНГ. Сборка опирается на б/у детали с вторичного рынка и не зависит от зарубежных подписок. Если работаете с клиентскими данными, это довод держать часть задач у себя.

Какие вопросы возникают чаще всего?

Нужна ли мощная видеокарта?

По опыту автора, нет. Ключевой ресурс здесь суммарная память и число ядер процессора, а видеокарта на 8 ГБ обслуживает только самые нагруженные части модели.

Подойдёт ли такой подход для любой большой модели?

Нет. Он работает для смеси экспертов, где на каждый токен включается малая часть параметров. Обычная плотная модель на 125 млрд параметров на той же карте выдавала бы, по оценке автора, единицы токенов в минуту.

С чего начать новичку?

С малого: запустите компактную открытую модель на своём компьютере и посмотрите, как она справляется с вашими задачами. Если упрётесь в память, тогда уже есть смысл смотреть на сборку за 43 тысячи рублей.