Мини-ПК на Ryzen AI Max+ 395 вмещает модели до 235B: облако больше не нужно

Откуда взялась эта «коробочка» и почему сейчас?

Процессор AMD Ryzen AI Max+ 395 на архитектуре Strix Halo компания AMD представила на выставке CES в январе 2025 года. Китайские фабрики начали отгружать готовые устройства весной, но до российских площадок конфигурации с топовыми 128 ГБ памяти добрались только к осени-зиме 2025 года.

Конкретную реализацию выпустила компания FEVM (Shenzhen Feimin Technology), которая специализируется на компактных рабочих станциях. Инженеры упаковали платформу в цельнометаллический алюминиевый корпус объёмом в 1 литр.

Главное для работы с нейросетями: 128 ГБ распаянной памяти LPDDR5X-8000 по 256-битной шине (восемь 32-битных каналов) с пиковой пропускной способностью 256 ГБ/с. Память общая для процессора и графического ядра Radeon 8060S (40 вычислительных блоков, архитектура RDNA 3.5, 2560 потоковых процессоров).

Под Linux через параметры драйвера amdgpu графическому ядру можно выделить до 110–112 ГБ под буфер весов. Под Windows через настройки UMA в BIOS доступно до 96 ГБ.

Что понадобится

• Устройство: мини-ПК FEVM на Ryzen AI Max+ 395 с 128 ГБ LPDDR5X (доступен на Ozon Global, от 230 000 до 280 000 рублей)
• Операционная система: Linux (Ubuntu 22.04 или новее) для максимального объёма доступной видеопамяти, либо Windows 11
• Драйвер и стек: ROCm 7.x (открытый вычислительный стек AMD для GPU) под Linux
• Программа для инференса (запуска модели и генерации текста): llama.cpp или Ollama
• Файлы весов моделей: скачиваются с Hugging Face, квантованные (сжатые с потерей точности) версии формата Q4_K_M
• Время на настройку: от 2 до 4 часов на первый запуск с нуля, включая установку драйверов

Пошаговая инструкция

1. Установите Linux и обновите систему. Ubuntu 22.04 LTS или новее. Под Linux графическому ядру доступно до 112 ГБ памяти вместо 96 ГБ под Windows, и это критично для моделей класса 70B и выше.

2. Установите драйвер amdgpu и стек ROCm 7.x. Следуйте официальной документации AMD. После установки проверьте, что GPU определяется корректно:

rocm-smi

1. Настройте пул памяти TTM/GTT, чтобы выделить графическому ядру максимум. Параметры передаются через драйвер amdgpu. Цель: 110–112 ГБ доступной видеопамяти.

2. Соберите или установите llama.cpp с поддержкой ROCm. Клонируйте репозиторий и соберите с флагом HIP (интерфейс AMD для вычислений на GPU):

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_HIP=ON
cmake --build build --config Release

1. Скачайте квантованную модель. Для первого теста возьмите Qwen 2.5 32B в формате Q4_K_M (файл весит около 20 ГБ). Для более мощной модели: Llama 3 70B Q4_K_M (около 40–42 ГБ).

2. Запустите инференс. Укажите путь к файлу весов и количество слоёв, выгружаемых на GPU:

./build/bin/llama-cli -m ./models/qwen2.5-32b-q4_k_m.gguf -ngl 99 -c 4096

Параметр -ngl 99 означает «все слои на GPU». Параметр -c 4096 задаёт длину контекста (количество токенов, которые модель «помнит» в рамках диалога).

1. Проверьте скорость генерации. При правильной настройке ожидаемые показатели для Ryzen AI Max+ 395:
2. Модели 7B–8B: 40–48 токенов в секунду
3. Модели 14B: 22–26 токенов в секунду
4. Модели 32B: 10–12 токенов в секунду

5. Модели 70B: 5,5–7,5 токенов в секунду

6. Для запуска моделей с архитектурой MoE (Mixture of Experts, «смесь экспертов», когда на каждом шаге работает только часть параметров): Qwen3-235B-A22B в формате Q4_K_M занимает 100–110 ГБ и целиком помещается в доступный пул. Скорость генерации: 10–13 токенов в секунду, потому что активных параметров на каждом токене только 21–22 миллиарда.

Что это значит для вас?

Авторам Дзена и копирайтерам. Модель на 32 миллиарда параметров, работающая локально со скоростью 10–12 токенов в секунду, закрывает задачи генерации черновиков, рерайта и анализа текстов без подписок на облачные сервисы и без отправки данных на внешние серверы. Никакой цензуры, никаких ограничений по тематике, полный контроль над данными.

Маркетологам. 70B-модель локально означает возможность обрабатывать конфиденциальные брифы и клиентские данные без риска утечки через API. Шесть-семь токенов в секунду на 70B хватает для интерактивной работы, но для массовой генерации тысяч карточек товаров производительности будет мало.

Предпринимателям в РФ и СНГ. Устройство доступно на Ozon Global. Бюджет с учётом таможни: 260 000–315 000 рублей. Для сравнения: две видеокарты RTX 4090 по 24 ГБ обойдутся дороже, потребуют полноразмерный ПК и дадут суммарно только 48 ГБ видеопамяти. Ryzen AI Max+ 395 в литровом корпусе даёт до 112 ГБ. Из российских облачных альтернатив для тех, кому не нужен именно локальный запуск: API YandexGPT и GigaChat, но у них свои ограничения по моделям и цензуре.

Литровая коробка с Ryzen AI Max+ 395 не заменит облачный кластер и не даст скорости дискретных карт с HBM-памятью, но она впервые делает 70B-модели по-настоящему карманными: купил, настроил, запустил без подписок, без VPN и без чужих серверов.