Локальные нейросети на 744 млрд параметров: модель запустили на ноутбуке с 25 ГБ памяти

Движок Colibri написал независимый разработчик под ником JustVugg. Проект набрал больше двух тысяч звёзд на GitHub. Суть идеи: GLM 5.2 построена на архитектуре MoE (Mixture of Experts, «смесь экспертов», когда модель при обработке каждого слова активирует не все свои параметры, а только небольшую группу «экспертов»). Из 744 миллиардов параметров на каждый токен (минимальную единицу текста, которую обрабатывает модель) активны лишь около 40 миллиардов. Colibri держит в памяти только постоянно нужную часть модели, а остальное читает с быстрого диска по запросу.

GLM 5.2, флагман китайской компании Z.ai, распространяется под лицензией MIT (то есть бесплатно и без ограничений на коммерческое использование). Модель поддерживает контекст до миллиона токенов. На бенчмарках по написанию кода она считается сильнейшей среди открытых моделей и приближается к закрытым конкурентам уровня Opus 4.8 и GPT-5.5.

Что понадобится?

• Операционная система: Linux или WSL2 (подсистема Linux внутри Windows)
• Процессор: с поддержкой инструкций AVX2 (большинство процессоров Intel и AMD, выпущенных после 2015 года)
• Оперативная память: от 16 ГБ (автор тестировал на 25 ГБ)
• Место на NVMe-диске: около 370 ГБ под готовый int4-квант (сжатую до 4 бит версию весов), который скачивается с Hugging Face
• Время на скачивание: зависит от скорости интернета; 370 ГБ при 100 Мбит/с займут около 8 часов
• Время на первый запуск: от нескольких минут до получаса на холодном старте

Пошаговая инструкция

1. Убедитесь, что у вас Linux или WSL2. Если вы на Windows 10/11, откройте PowerShell от администратора и выполните:

wsl --install

После перезагрузки у вас появится Ubuntu внутри Windows.

1. Проверьте, поддерживает ли процессор AVX2. В терминале Linux выполните:

grep avx2 /proc/cpuinfo

Если вывод непустой, всё в порядке.

1. Клонируйте репозиторий Colibri с GitHub:

git clone https://github.com/JustVugg/colibri.git
cd colibri

1. Соберите движок. Colibri написан на чистом C без зависимостей, поэтому сборка простая:

make

1. Скачайте квантованные веса GLM 5.2 с Hugging Face. Точную команду и ссылку смотрите в README репозитория. Ожидайте загрузку около 370 ГБ на локальный NVMe-диск.

2. Запустите модель. Базовая команда (сверьтесь с README, параметры могут отличаться):

./colibri --model /путь/к/весам/glm-5.2-int4

1. Подождите прогрева. На холодном старте скорость составит 0,05–0,1 токена в секунду. Чем дольше вы работаете с моделью, тем больше часто используемых экспертов закрепляется в кэше оперативной памяти и тем быстрее идёт генерация.

Почему это вообще работает?

Colibri опирается на особенность MoE-архитектуры: от токена к токену реально меняется лишь малая часть задействованных весов. Постоянная «плотная» часть модели (механизм внимания, эмбеддинги, общие эксперты, около 17 миллиардов параметров) сжата в int4 и занимает 9,9 ГБ оперативной памяти. А 21 504 маршрутизируемых эксперта, каждый примерно по 19 МБ, лежат на NVMe-накопителе и подгружаются по требованию.

Поверх этого работает многослойное кэширование:

• LRU-кэш (Least Recently Used, «последний по использованию вылетает первым») на каждый слой модели
• Страничный кэш операционной системы как бесплатный второй уровень
• Автоматическое закрепление «горячих» экспертов, которые вызываются чаще всего, в свободной оперативной памяти

Дополнительно в движке реализовано спекулятивное декодирование через встроенную MTP-голову модели (78-й слой). По замерам автора, это даёт 2 токена за один проход без потери качества. KV-кэш (память, хранящая контекст разговора) сжат в 57 раз: 576 чисел на токен вместо 32 768.

Модель не урезана и не дистиллирована (то есть не упрощена через обучение на ответах старшей модели). Все 744 миллиарда параметров на месте, но веса сжаты до 4 бит. Это тот же компромисс, что и у привычных квантов формата GGUF.

Кому это полезно и что делать прямо сейчас?

Автору Дзена и копирайтеру. Локальные нейросети уровня GLM 5.2 позволяют генерировать тексты без подписок и без отправки данных в облако. Скорость пока не подходит для потокового контент-производства, но для разовых задач (длинный анализ, сложная структура статьи) можно оставить запрос на ночь и получить результат утром.

Маркетологу. Если вы работаете с конфиденциальными данными клиентов, локальные нейросети снимают вопрос утечки. Ни один промпт (запрос к модели) не уходит за пределы вашего компьютера.

Предпринимателю из РФ и СНГ. GLM 5.2 доступна без VPN и без зарубежных подписок: веса лежат на Hugging Face под свободной лицензией MIT. Из доступных в РФ облачных альтернатив для повседневных задач подойдут YandexGPT и GigaChat, но Colibri интересен именно тем, что не требует облака.

Движок на 1300 строк без зависимостей, две тысячи звёзд на GitHub за считанные дни и 744 миллиарда параметров на ноутбуке. Colibri не решает проблему скорости, но решает проблему доступа, а для многих задач это важнее.