Разработчик показал, как локально запустить нейросеть на MacBook с 24 ГБ без облака

Помощник не просто отвечает, а выполняет действия: открывает папки, ищет файлы, включает фильмы, читает почту. Главное условие автор поставил себе сам: языковая модель работает на том же Mac. Его опыт пригодится всем, кто ищет, как локально запустить нейросеть и поручить ей настоящие дела, а не только разговор.

Что понадобится для сборки?

• MacBook на Apple Silicon с 24 ГБ общей памяти, которую делят процессор и видеочип.
• Electron, оболочка для настольных приложений, в которой живёт окно помощника.
• Python для «слуха». Он запускает VAD, детектор речи, который замечает, что человек заговорил, и Whisper, нейросеть распознавания речи. Whisper нужен в сборке под MLX, библиотеку для чипов Apple.
• llama.cpp с сервером llama-server, программа для запуска языковых моделей на своём компьютере.
• Модель Gemma 4 26B A4B. В ней 26 млрд параметров, то есть внутренних настроек, из которых состоит модель. Её берут в 4-битной квантизации: веса сжимают, чтобы модель влезла в память, примерно как фото сжимают в архив.
• Qwen-TTS для синтеза речи по эталонной записи голоса.
• Небольшой помощник на Swift, языке программирования Apple. Он отвечает за звук, микрофон и эхо.
• Время. Один проход обучения длится около трёх часов, поэтому автор учит модель ночью.

Как собрать помощника по шагам?

1. Разделите систему на процессы. Слух, мозг, голос и системный помощник работают отдельно и обмениваются с окном сообщениями. Если процесс падает, сторож перезапускает его: голос, например, поднимается заново примерно за 7 секунд.
2. Научите модель выбирать действие, а не писать ответ. По сути это ИИ-агент, то есть программа, которая сама выполняет действия. На каждую реплику модель возвращает один шаг в фиксированном формате с полями think (рассуждение), tool (инструмент: папки, поиск файлов, видео, почта, браузер, заметки), args (параметры), say (фраза вслух) и next (нужен ли следующий шаг).
3. Защитите файлы. Всё, что меняет или удаляет файлы, выполняется только после голосового подтверждения.
4. Замерьте модель без дообучения. Автор давал Gemma системный промпт, скрытую инструкцию перед диалогом, примерно на 5 тысяч токенов. Токен здесь означает кусочек слова, которым считает модель. Результат: 89% верных шагов при медиане 1,94 секунды на ответ, но с системными ошибками. Модель путала «поставь» фильм и музыку, забывала параметры и переспрашивала там, где всё ясно.
5. Соберите стенд до обучения. Это набор фраз с правильными шагами, на котором модель никогда не учится. У автора в нём 766 разговоров, файл заморожен, и любые две версии сравниваются только на нём.
6. Дообучите насадку. LoRA работает как небольшая насадка поверх модели: она меняет поведение, не переписывая все веса. QLoRA делает то же самое на сжатой модели. Автор обучает через mlx-lm, и цель простая: перенести правила из промпта в веса и обойтись коротким промптом.
7. Уложитесь в память. Gemma 4 26B устроена как MoE, «смесь экспертов»: на каждом шаге работают около 4 млрд параметров из 26. Пример должен быть не длиннее примерно 1400 токенов, иначе Metal, графическая система Mac, падает от нехватки памяти. Длинные примеры заранее отсекает отдельный скрипт.
8. Не давайте Mac уснуть и продолжайте с последней точки. Вся цепочка (обучение, перевод в GGUF, проверка на стенде) идёт под одной командой caffeinate, которая не даёт Mac уснуть. После срыва обучение продолжают с последней сохранённой точки:

caffeinate -i -s <скрипт всей цепочки>
--resume-adapter-file

1. Переведите насадку в GGUF, формат файлов для llama.cpp. Для этого автор завёл отдельное окружение с torch, библиотекой для нейросетей. Под Gemma 4 ему понадобились ещё две небольшие правки в mlx-lm.
2. Настройте слух. Команды выполняются только после имени помощника, а фильм приглушается уже по началу речи. Если голос громче «плавающего пола», то есть медленного среднего уровня громкости без речи, на 6 дБ и это не эхо самого помощника, звук стихает. Если за 2,5 секунды имя не прозвучало, громкость возвращается.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Возьмите идею стенда: соберите 20 или 30 своих типовых запросов к нейросети и проверяйте на них каждый новый промпт. Так вы увидите, что правка улучшила, а что сломала.

Маркетологу. Фиксированный формат ответа (действие, параметры, фраза) подходит для любой автоматизации, где нейросеть должна выдавать решение, а не текст. Автор подключает и внешние модели, ChatGPT, Claude, Gemini, в том же формате. В этом режиме локальный сервер останавливается и освобождает около 13 ГБ памяти.

Предпринимателю в РФ и СНГ. Локальная модель не зависит от облака и подписок, но потребует Mac на Apple Silicon с 24 ГБ и человека, который пишет код. Если собирать своё пока рано, из доступных в РФ облачных аналогов есть YandexGPT и GigaChat.