LLM локально на GPU за копейки: четыре майнинговые карты дают 25 токенов в секунду

Тема LLM локально на GPU набирает популярность в России по трём причинам: проблемы с доступом к западным сервисам, нестабильный интернет и реальные прецеденты утечки данных из облачных ИИ-систем. Автор оригинального материала на Хабре собрал и протестировал ферму целиком из майнингового железа, без игровых материнских плат и без игровых видеокарт, и получил рабочий результат.

Что понадобится?

• Майнинговая материнская плата с поддержкой нескольких GPU через райзеры (riser, переходник для подключения видеокарты на расстоянии от платы)
• 4 видеокарты P106-100 (майнинговая версия GTX 1060 с 6 ГБ видеопамяти, архитектура Pascal) или аналогичные майнинговые карты
• Оперативная память: чем больше, тем лучше, часть модели может выгружаться в ОЗУ
• Windows (да, не Linux) плюс неофициальные драйверы NVIDIA для майнинговых карт, потому что официальных драйверов под Windows для них не существует
• Kobold.cpp (программа для локального запуска LLM) или LM Studio (графическая оболочка для скачивания и запуска моделей)
• MSI Afterburner для фиксации частот видеокарт
• Время: от пары часов на сборку и настройку до вечера на подбор стабильных частот

Пошаговая инструкция

1. Установите Windows на ферму. Linux может дать чуть больше производительности, но неофициальные драйверы для майнинговых карт проще найти именно под Windows.

2. Поставьте неофициальные драйверы NVIDIA. Официальных драйверов для карт вроде P106-100 под Windows компания не выпускает. Ищите модифицированные драйверы на профильных форумах.

3. Установите Kobold.cpp или LM Studio. По данным автора оригинального теста, на старых GPU с архитектурой Pascal (поколение видеокарт NVIDIA 2016 года) Kobold.cpp работает чуть быстрее, поэтому все замеры проводились именно в нём.

4. Скачайте модели в формате GGUF (формат файлов, оптимизированный для запуска моделей на обычном железе) с квантизацией Q4 (сжатие модели до 4 бит на параметр, что уменьшает размер в несколько раз с умеренной потерей качества). Проверенные варианты:

5. Gemma 4 26B-A4B (модель Google, около 14 ГБ в Q4)
6. Qwen 3.6 35B-A3B (модель Alibaba, сопоставимый размер)

7. GPT-oss 20B

8. Запустите модель сначала на одной карте, чтобы получить базовую точку отсчёта.

9. Добавляйте карты по одной и следите за распределением модели между видеопамятью и ОЗУ.

На трёх картах P106-100 модель Gemma 26B (14 ГБ) по умолчанию не помещается в суммарные 18 ГБ видеопамяти, но с ручной настройкой распределения слоёв её можно уместить. На четырёх картах (24 ГБ суммарно) модель загружается полностью без ручных настроек, и контекст не нужно ограничивать.

1. Зафиксируйте частоты через MSI Afterburner. Без этого шага карты работают нестабильно: скорость прыгает от 10 до 20 токенов в секунду. После фиксации частот результат стабилизируется.

Итоговая команда запуска в Kobold.cpp (пример):
koboldcpp.exe --model gemma-4-26B-A4B-it-QAT-Q4.gguf --gpulayers 99 --usecublas 0 1 2 3 --contextsize 12288

Какую скорость ожидать?

По результатам тестов автора на четырёх P106-100:

• Gemma 4 26B (Q4): стабильные 19-20 токенов в секунду при контексте 12 000
• Qwen 3.6 35B-A3B (Q4): те же 19-20 токенов в секунду
• GPT-oss 20B: 25 токенов в секунду при контексте 12 288

Для сравнения, данные из открытых источников на Хабре и YouTube:

• Четыре карты CMP 50HX (другие майнинговые карты, более мощные) выдают 22 токена в секунду на Gemma 26B
• Одна RTX 3060 12 ГБ выдаёт 27 токенов в секунду на Qwen 35B в LM Studio
• MiniPC с процессором AMD AI 395+ и 128 ГБ ОЗУ показывает около 60 токенов в секунду на том же Qwen 35B

Вывод простой: четыре старые майнинговые карты дают 70-75% скорости одной современной игровой RTX 3060, но при стоимости оборудования в разы ниже.

Кому это пригодится и что делать прямо сейчас?

Авторам Дзена и копирайтерам. Если у вас или у знакомых пылится майнинговая ферма, вы получаете локальный ИИ-сервер для генерации черновиков, рерайта и ответов на вопросы без подписки на облачные сервисы и без риска утечки текстов. Модели Gemma и Qwen хорошо работают с русским языком.

Маркетологам и предпринимателям. Локальный запуск LLM на GPU снимает зависимость от западных API: ни санкции, ни отключение VPN, ни нестабильный интернет не повлияют на работу. Себестоимость генерации после покупки железа равна стоимости электричества.

Тем, кто в РФ ищет альтернативу. Из облачных российских аналогов доступны YandexGPT и GigaChat, но они работают через интернет и ограничены по объёму бесплатного использования. Локальная ферма даёт неограниченную генерацию, хотя скорость скромнее.

Где реальная выгода фермы. Запуск моделей от 100 млрд параметров (Qwen 122B, GPT-oss 120B) на фермах с большим суммарным объёмом видеопамяти: именно здесь одна игровая карта уже не справляется, а ферма из 6-8 карт CMP или P106 может потянуть.

Ферма из 2016 года за 10-20% от былой цены, не мёртвое железо, а рабочий инференс (генерация ответов нейросетью) на современных моделях. Для тех, у кого оборудование уже стоит без дела, порог входа фактически нулевой: пара вечеров, неофициальные драйверы и Kobold.cpp.