Маленькие нейросети на смартфоне: Bonsai 27B сжали до 3,9 ГБ, сохранив 89% качества

Bonsai 27B не новая модель, обученная с нуля, а экстремально сжатая версия открытой Qwen3.6-27B. Компания PrismML применила собственный метод компрессии (сжатия весов модели до минимального числа бит), при котором каждый вес превращается в простой код, а точность поддерживается общим масштабирующим коэффициентом на группу из 128 весов. Обе версии распространяются под свободной лицензией Apache 2.0, то есть их можно использовать бесплатно, в том числе в коммерческих проектах. Источник: Marktechpost.

Что умеет Bonsai 27B?

• Два варианта сжатия. Тернарная версия (Ternary) использует веса из трёх значений ({−1, 0, +1}), занимает 5,9 ГБ и работает на 1,71 бита на вес. Бинарная (1-bit) использует только два значения ({−1, +1}), занимает 3,9 ГБ при 1,125 бита на вес. Для сравнения: стандартная «четырёхбитная» сборка того же Qwen3.6-27B реально требует 5,2 бита на вес.

• Мультимодальность (работа и с текстом, и с изображениями). Модель состоит из языковой части на 24,8 млрд параметров, блока зрения на 0,46 млрд и слоёв для обработки входного и выходного текста на 2,5 млрд. Блок зрения хранится отдельно в четырёхбитном формате.

• Контекстное окно 262 тысячи токенов (токен, это примерно одно слово или его часть). Такой длинный контекст возможен потому, что около 75% механизма внимания в Qwen3.6-27B линейные, а значит, кеш ключей и значений (KV-кеш, память, в которой модель хранит уже обработанный текст) растёт медленнее обычного.

• Качество по бенчмаркам. По данным PrismML, тернарная версия сохраняет 94,6% качества полноразмерного оригинала (FP16), а бинарная удерживает 89,5%. При этом обычные сборки с агрессивным сжатием (например, IQ2_XXS) проваливаются на сложных задачах: 57,5 балла на AIME26 и 56,4 на LiveCodeBench, хотя на коротких тестах вроде MMLU-Redux показывают приемлемые 88,93.

• Расход батареи. PrismML приводит замер: бинарная версия на iPhone генерирует 672 токена на 1% заряда батареи.

Как запустить Bonsai 27B на своём устройстве?

1. На Mac с чипом Apple Silicon (M1 и новее). Установите фреймворк MLX и выполните команду: mlx_lm.generate --model prism-ml/Ternary-Bonsai-27B-mlx-2bit --prompt "Ваш запрос"

2. На ноутбуке или ПК с видеокартой NVIDIA. Скачайте файл модели в формате GGUF из репозитория PrismML на GitHub и запустите через llama.cpp: ./llama-cli -m ./Ternary-Bonsai-27B-gguf/Ternary-Bonsai-27B-Q2_0.gguf --mmproj ./Ternary-Bonsai-27B-gguf/mmproj.gguf -c 0 -p "Ваш запрос"

3. Как локальный сервер с API. Запустите скрипт ./scripts/start_llama_server.sh, модель поднимет веб-интерфейс и API, совместимый с форматом OpenAI, на порту 8080. К нему можно подключать свои приложения, скрипты и ИИ-агентов (программы, которые сами выполняют цепочки действий, вызывая функции и инструменты).

4. На iPhone. PrismML заявляет, что бинарная версия (3,9 ГБ) помещается в лимит памяти iOS (примерно 6 ГБ на устройстве с 12 ГБ RAM). Конкретное приложение для iOS в источнике не названо; на данный момент запуск возможен через сторонние оболочки для llama.cpp на iOS.

Bonsai 27B и российские аналоги: что доступно у нас?

YandexGPT и GigaChat остаются закрытыми облачными моделями. Bonsai 27B, это совсем другая история: маленькая нейросеть, которую вы скачиваете и запускаете на своём устройстве, ваши данные никуда не уходят. Для тех, кому критична приватность или работа без интернета, открытые маленькие нейросети пока единственный вариант.

Частые вопросы

Нужна ли мощная видеокарта для запуска?

Нет. Бинарная версия весит 3,9 ГБ и, по данным PrismML, помещается даже в память смартфона. На ноутбуке с Mac M1 или M2 тернарная версия (5,9 ГБ) запускается через MLX без видеокарты. На ПК с Windows подойдёт llama.cpp с поддержкой CUDA (видеокарты NVIDIA) или без неё, на процессоре, но генерация будет медленнее.

Чем Bonsai 27B отличается от обычного «квантования на 2 бита»?

Стандартные методы квантования (например, IQ2_XXS) сжимают модель после обучения и часто теряют качество на сложных задачах. По замерам PrismML, такие сборки проваливаются на математических и программистских бенчмарках, хотя на коротких тестах выглядят нормально. Bonsai использует другой подход: веса изначально представляются тернарным или бинарным кодом с одним масштабирующим числом на группу, что позволяет удерживать качество ровнее.

Можно ли использовать модель для коммерческих проектов?

Да. Обе версии распространяются под лицензией Apache 2.0, которая разрешает коммерческое использование, модификацию и распространение без оплаты.

Скачать модели и исходный код можно в репозитории PrismML на GitHub. Если вы давно хотели попробовать локальный ИИ, но останавливал размер файлов, Bonsai 27B убирает именно этот барьер: 3,9 ГБ, одна команда, полная приватность.