Mac mini M4 Pro против LLM: от 11,7 до 21,5 токена в секунду, и скорость упирается в память

Автор бенчмарка держит парк одинаковых Mac mini M4 и опубликовал результаты шести открытых моделей с полным описанием условий: версия Ollama, квантование (способ сжатия весов модели для экономии памяти), промпт (запрос к модели), число прогонов и даже то, что делала машина в фоне. По данным автора, разброс между тремя прогонами каждой модели не превышал 0,5%, то есть цифры устойчивы и пригодны для сравнения.

Что именно измеряли?

Автор прогнал шесть открытых моделей разного размера через один и тот же промпт: просьба объяснить механизм внимания в трансформерах на 300 слов для начинающего разработчика, с конкретной аналогией. Все модели были сжаты одним методом квантования Q4_K_M. Это важно: без фиксации способа сжатия сравнивать скорости бессмысленно, потому что та же модель в другом квантовании займёт другой объём памяти и выдаст другую скорость.

Каждую модель запускали четыре раза. Первый прогон, прогревочный, отбрасывали: он включает загрузку весов модели в память и может исказить результат на десятки процентов. Три оставшихся прогона усредняли.

Машина во время замеров простаивала: работали только системные процессы macOS, никаких браузеров и редакторов в фоне.

Главные находки

• Модели до 8 миллиардов параметров выдают 20+ токенов в секунду. Это быстрее, чем человек успевает читать. Для локального ИИ-ассистента по коду, разбора документов или RAG (системы, где модель ищет ответ по вашей базе знаний) такой скорости хватает с запасом.

• 14B запускается, но 11,7 токенов в секунду уже ощутимо медленно. На коротких ответах терпимо, на длинных начинает раздражать. Для комфортной работы с моделями от 14 миллиардов параметров автор рекомендует машины с 24 или 32 ГБ памяти и более широкой полосой пропускания.

• Обработка промпта на порядок быстрее генерации. Скорость чтения входного текста составила от 530 до 1720 токенов в секунду в зависимости от модели. Загрузить в контекст большой документ дёшево; дорого генерировать ответ по нему.

• Скорость генерации упирается в память, а не в процессор. Автор вывел практическое правило: делите полосу пропускания памяти на размер файла весов. Для модели 8B в Q4 (примерно 4,7 ГБ) при полосе 120 ГБ/с теоретический потолок около 25 токенов в секунду. Измеренные 21 токен попадают в этот диапазон с поправкой на накладные расходы.

• Одинаковый размер модели не гарантирует одинаковую скорость обработки промпта. Mistral 7B обрабатывает промпт со скоростью 645 токенов в секунду, а Qwen 2.5 7B со скоростью 1130 токенов в секунду при почти равной скорости генерации. Разница в токенизаторе (том, как модель разбивает текст на части) и устройстве механизма внимания проявляется на этапе чтения промпта, но не на этапе генерации.

Mac mini M4 Pro и M4 Max: прогноз без замеров

Автор подчёркивает: своих данных по Mac mini M4 Pro и M4 Max у него пока нет. Но поскольку скорость упирается в память, прирост на Mac mini M4 Pro (полоса 273 ГБ/с) и M4 Max (полоса 546 ГБ/с) должен быть примерно кратен полосе, а не числу процессорных ядер. Конкретных чисел автор не даёт и обещает добавить их в таблицу, когда появятся собственные замеры.

Это честный подход: именно подмена «должно быть быстрее» на конкретные цифры без замеров портит большинство обзоров в сети.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Если у вас Mac mini M4 с 16 ГБ, вы уже можете запустить локальную модель на 7 или 8 миллиардов параметров через Ollama и получить ИИ-помощника для черновиков, рерайта и разбора источников без подписки на облачные сервисы и без отправки текстов на чужие серверы. Ставьте квантование Q4_K_M и ждите 20+ токенов в секунду, это комфортно.

Разработчикам и техническим специалистам. Открытая методика под CC BY позволяет добавить свои машины (M1, M2, M3, конфигурации с 24 и 64 ГБ) и получить сводную таблицу, которой пока нет нигде в воспроизводимом виде. Автор принимает замеры по той же схеме.

Предпринимателям в РФ и СНГ. Mac mini M4 продаётся в России, открытые модели вроде Mistral и Qwen не требуют лицензий и не зависят от санкционных ограничений облачных API. Для небольших команд, которым нужен локальный ИИ без абонентской платы, это рабочий вариант прямо сейчас.

Кто ещё не пробовал запускать модели локально, начните с Ollama и любой 7B-модели в квантовании Q4_K_M: вы увидите результат за пять минут и поймёте, нужна ли вам машина мощнее.

По данным macyou.co/benchmarks