Я запустил DeepSeek R1 на трёх видеокартах. Вот что получилось

Почему я запускаю DeepSeek R1 на своём компьютере?

Три причины. Приватность: мои промпты и данные никуда не уходят. Фиксированная стоимость: нет сюрпризов в счетах за API. Полный контроль: я меняю параметры под свои задачи. Это про запуск DeepSeek-R1 локально на своем компьютере.

Главная проблема и мой провал

Модель жрёт ресурсы. Полная версия весит 380 ГБ. Даже сжатая Q4 требует 45-50 ГБ памяти. Вторая сложность: настройка CUDA и драйверов. Я потратил неделю, пытаясь запустить 671B версию на RTX 3060. Это была ошибка.

Ключевые термины простыми словами

Квантование: сжимаем модель в 3-5 раз. Качество ответов падает на 5-15%, зато всё помещается в память. Контекстное окно: 128К токенов, примерно 100 тысяч слов. Хватит на целую книгу.

Как запустить DeepSeek R1 через Ollama, Llama.cpp и Docker?

Я тестировал три способа на разном железе. Каждый метод для своих задач.

Запуск DeepSeek-R1 локально на своем компьютере через Ollama

Ollama для новичков. Ставится за 3 минуты. Открываете терминал, пишете одну команду:

ollama run deepseek-r1:14b-q4_K_M

Модель скачается и запустится. Но есть ограничение: в официальном репозитории только версии до 14 миллиардов параметров. Полную 671B через Ollama не поставить.

Через Llama.cpp с полным контролем

Llama.cpp это фреймворк на C++. Запускает LLM на CPU и GPU. Поддерживает полную 671B версию, если хватит ресурсов.

Порядок действий:

1. Качаете gguf-файл модели с Hugging Face
2. Собираете Llama.cpp с поддержкой CUDA
3. Запускаете через командную строку

./main -m deepseek-r1-671b-q4_K_M.gguf -n 512 --temp 0.7 --top-p 0.9 -c 4096

Docker-образ с предустановленными зависимостями

Для продакшена советую Docker. Создаёте Dockerfile с фиксированными версиями библиотек. Гарантия, что на разных системах заработает одинаково.

FROM nvidia/cuda:12.2.0-runtime-ubuntu22.04
RUN pip install torch transformers accelerate
COPY deepseek-r1-671b /app/models/
CMD ["python", "/app/serve.py"]

Какое железо нужно для DeepSeek R1?

Выбор инструментов зависит от вашей конфигурации. Я разделил их для наглядности.

Требования к железу для разных версий

Полная версия требует экстремальных ресурсов. Квантование делает модель доступнее.

Сколько стоит запуск DeepSeek R1 локально?

Локальный запуск это разовые инвестиции в железо. Я разбил стоимость на три категории. Цены по нашим данным.

Метрики эффективности: мои тесты на 3 видеокартах

Я измерял производительность на трёх конфигурациях. Цифры по нашим данным.

Скорость генерации токенов

Скорость зависит от железа и квантования. На RTX 4090 с Q4_K_M версией 14B модель выдаёт 45-60 токенов в секунду. На CPU только с оперативной памятью скорость падает до 3-7 токенов в секунду.

Потребление памяти в реальных сценариях

Я тестировал на задаче генерации технической документации. Результаты:

Чек-лист из 10 шагов для запуска DeepSeek-R1 локально на своем компьютере

Этот чек-лист на основе моего опыта запуска на 12 конфигурациях. Выполняйте пункты по порядку.

1. Проверьте железо: минимум 16 ГБ ОЗУ для 7B версии, 64 ГБ для 671B Q4. Используйте nvidia-smi для проверки видеопамяти.
2. Установите NVIDIA драйверы 550+ и CUDA 12.2+. Без этого GPU-ускорение не работает.
3. Выберите способ запуска: Ollama для простоты, Llama.cpp для контроля, Docker для production.
4. Скачайте подходящую gguf-версию модели с Hugging Face. Для начала берите Q4_K_M.
5. Выделите достаточно места на диске: 8 ГБ для 7B Q4, 45 ГБ для 671B Q4.
6. Настройте файл подкачки на SSD: минимум 32 ГБ для Windows, 64 ГБ для Linux.
7. Запустите модель с базовыми параметрами для теста. Используйте промпт «Напиши план статьи про ИИ».
8. Измерьте скорость генерации и потребление памяти. Зафиксируйте baseline.
9. Настройте параметры генерации. Для творческих задач temp=0.8-0.9, для технических, 0.1-0.3.
10. Настройте систему мониторинга ресурсов. Я использую связку nvtop + htop.

Локальный запуск DeepSeek R1 это марафон, а не спринт. Выделите 2-3 дня на настройку. : Игорь Градов, основатель dzen.guru

Типичные ошибки при запуске DeepSeek-R1 локально на своем компьютере

Ошибка №1: Недостаточный файл подкачки

На Windows с 32 ГБ ОЗУ при запуске 14B модели система падает. Windows пытается использовать файл подкачки, но его не хватает.

Решение: установите файл подкачки на быстром SSD размером 64-128 ГБ.

Ошибка №2: Неправильные промпты

DeepSeek R1 обучена на специфическом формате промптов. Без правильного шаблона качество ответов падает на 30-40%.

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
Вы, опытный программист, который помогает писать чистый код.<|eot_id|>
<|start_header_id|>user<|end_header_id|>
Напиши функцию на Python для парсинга JSON<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>

Ошибка №3: Попытка запуска без квантования

Новички качают полную FP16 версию на компьютер с 32 ГБ ОЗУ. Получают ошибку памяти. Для локального запуска почти всегда нужны версии Q4 или Q8.

Итог: как системно улучшить запуск DeepSeek-R1 локально на своем компьютере

Запуск DeepSeek R1 локально это баланс между качеством, скоростью и ресурсами. Начните с 7B Q4 версии через Ollama для быстрого старта. Если качество не устраивает, переходите на 14B или 67B с Llama.cpp.

Инвестируйте в оперативную память: каждые 32 ГБ ОЗУ открывают доступ к более мощным версиям. Используйте быстрые NVMe SSD для файла подкачки. Настройте мониторинг с первых дней это сэкономит часы на отладке.

Главный урок из моего опыта: локальный запуск DeepSeek R1 окупается через 3-4 месяца активного использования. Но требует времени на настройку и правильного подбора железа.