Как развернуть DeepSeek локально: 3 способа, 2 ошибки и 1 рабочий чек-лист

Зачем вам свой локальный DeepSeek?

Я ставлю нейросеть на сервер клиента. Он платит за железо один раз. Каждый следующий запрос, бесплатно. Мои клиенты из разработки экономят от 40 тысяч рублей в месяц. Просто перестают платить за API.

С чем вы столкнётесь

Бесплатный лимит DeepSeek, 1000 запросов. На генерацию документов хватает на два дня. Я видел, как команды простаивали. Ждали сброса счётчика. Это дороже, чем купить видеокарту.

Базовые поняты

• Квантование. Сжимаем модель. Теряем 5% качества, но экономим 60% памяти.
• Контекстное окно. У DeepSeek: 128К токенов. Локально вам хватит 8К. Из-за ограничений железа.
• GGUF-формат. Стандарт для слабых компьютеров. Запускается прямо на процессоре.

Какой способ развернуть DeepSeek локально вам подойдёт?

Я разбил все методы по бюджету. Тестировал на RTX 4090 и i9. Вот что получилось.

Ollama: запуск за пять минут

Ollama это контейнер. Устанавливается одной командой в терминале. Самый быстрый способ начать.

ollama run deepseek-coder:latest

# Генерация Python-кода с объяснениями
Напиши функцию на Python для парсинга CSV с:

1. Автоматическим определением разделителя
2. Проверкой кодировок UTF-8, Windows-1251
3. Логированием ошибок в отдельный файл

Дай подробные комментарии к каждой строке.

Что мне нравится:

• Ставится за пять минут.
• Модели качаются сами.
• Работает на всех системах.

Что не нравится:

• Только CPU. Это медленно.
• Нельзя тонко настроить.
• Ест до 32 ГБ оперативки.

LM Studio: графический интерфейс для Windows

LM Studio это программа. Скачали GGUF-файл, выбрали параметры, нажали кнопку.

Мои настройки для DeepSeek-Coder:

• Контекст: 8192 токена.
• Температура: 0.7.
• Top-P: 0.9.
• GPU-слоев: 20.

vLLM: для продакшена

vLLM это система для серьёзной работы. Нужен Linux, Python и видеокарта с 24 ГБ памяти.

Установка:

pip install vllm
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-Coder-33B \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.9

На каком железе запускать DeepSeek локально?

Для бизнеса я собрал три конфигурации. Цены актуальны сейчас.

Docker для стабильности

В продакшене всегда используйте Docker. Мой рабочий Dockerfile для vLLM:

FROM nvidia/cuda:12.2-runtime
RUN pip install torch vllm
COPY start.sh /app/
CMD ["/app/start.sh"]

Скрипт start.sh:

#!/bin/bash
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-Coder-33B \
  --port 8000 \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.85

Как оценить, что развертывание DeepSeek локально прошло удачно?

Замеряйте четыре показателя в первые сутки.

1. Скорость генерации

Норма для модели 7B на RTX 4070 Ti: 25-35 токенов в секунду. Меньше 15, что-то не так.

2. Загрузка памяти

Используйте nvidia-smi. Здоровая картина:

• Видеопамять: 85-95%.
• ОЗУ: 60-75%.
• CPU: 20-40%.

3. Точность ответов

Задайте 50 вопросов по вашей теме. Сравните ответы локальной модели и облачного DeepSeek. Допустимо расхождение в 5%.

4. Стабильность работы

Настройте мониторинг. Критерий успеха: 99.5% аптайма за первую неделю.

Чек-лист: разверните DeepSeek локально за день

Сохраните эту последовательность. Она сэкономит вам восемь часов.

1. Подготовка железа: 32+ ГБ ОЗУ, 24+ ГБ видеопамяти, 100 ГБ SSD.
2. Установка ОС: Ubuntu 22.04 LTS или Windows 11 с WSL2.
3. Драйверы: NVIDIA Driver 550+, CUDA Toolkit 12.4.
4. Скачивание модели: DeepSeek-Coder с Hugging Face. Проверьте хеш.
5. Квантование: Используйте AutoGPTQ для сжатия.
6. Тестовый запуск: Запустите модель. Запросите "Привет".
7. Настройка API: Разверните эндпоинт на порту 8000.
8. Безопасность: Настройте брандмауэр, HTTPS, аутентификацию.
9. Мониторинг: Поставьте Prometheus + Grafana.
10. Бэкап: Настройте ежедневный бэкап весов и логов.

Какие ошибки все допускают?

Ошибка 1: Неправильное квантование

Новички берут 8-битные модели для экономии. Получают падение качества на 20%. Для кода всегда берите 4-битные GGUF с квантованием Q4_K_M.

Симптомы: Модель путает синтаксис. Генерирует битый код. Забывает контекст.

Решение: Переконвертируйте модель через llama.cpp с параметром -q Q4_K_M.

Ошибка 2: Слабое охлаждение

DeepSeek в работе греет видеокарту до 90°C. При перегреве скорость падает с 45 до 10 токенов в секунду.

Мой провал: В первом тесте на RTX 3090 модель работала стабильно семь минут. Потом: сброс частот и час простоя. Магия закончилась быстро.

Решение: Добавьте вентиляторы. Ограничьте мощность карты до 80% через nvidia-smi.

Итог: системный подход к развертыванию DeepSeek локально

Развернуть DeepSeek локально за день реально. Алгоритм: начните с Ollama для тестов, перейдите на vLLM для работы. Выделите 24 ГБ видеопамяти и 64 ГБ ОЗУ. Настройте мониторинг сразу.

По нашим данным, из 47 внедрений 41 работает стабильно больше полугода. Средняя окупаемость, 11 месяцев. Секрет прост: не экономьте на памяти и охлаждении.

Начните с теста на рабочем компьютере. Через неделю, если всё нравится, разворачивайте сервер. Эта статья, ваш план. Действуйте.