Локальные нейросети без видеокарты: как собрать ИИ-стек на обычном CPU за 0 рублей

Локальные нейросети перестали быть игрушкой для энтузиастов с мощными видеокартами. Новое руководство показывает, как на Debian 12 с обычным процессором x86_64 поднять три сервиса: текстовый чат с большими языковыми моделями (LLM, программы, которые генерируют текст), генератор изображений и веб-интерфейс с логином и историей. Всё работает в локальной сети, без облаков, а после сборки не требует интернета вообще.

Руководство описывает не отдельный инструмент, а связку из трёх компонентов: llama.cpp (движок для запуска текстовых моделей), stable-diffusion.cpp (генерация картинок) и Open WebUI (веб-интерфейс с аутентификацией). До сих пор подобные инструкции предполагали либо наличие видеокарты NVIDIA с CUDA, либо облачный сервер. Здесь ставка сделана на другое: работа исключительно на CPU с технологией mmap (подгрузка модели в память по частям, а не целиком), что позволяет запускать модели размером 20 ГБ даже на машине с 10 ГБ оперативной памяти.

Что входит в стек и почему именно так?

• llama-server слушает только localhost (порт 10000), снаружи к нему не подключиться. Это ключевой элемент безопасности: даже зная порт, никто из локальной сети не достучится напрямую.

• Open WebUI (порт 8080) выступает единственной точкой входа с логином и паролем. Первый зарегистрировавшийся пользователь становится администратором, после чего регистрацию можно закрыть.

• sd-server (порт 8888) отвечает за генерацию изображений. Он независим от чата, и если картинки не нужны, его можно просто не запускать.

• Все модели и пакеты лежат в папке проекта, а не размазаны по системе. После перезагрузки или обновления ничего не пропадает.

• Секреты (API-ключ и сессионный ключ) хранятся в файле .secrets с правами доступа 600, генерируются один раз скриптом.

Минимальные требования к железу

• Процессор: любой x86_64, от 4 ядер. Чем больше ядер, тем быстрее инференс (процесс генерации ответа моделью).

• Оперативная память: от 8 ГБ для моделей до 10 миллиардов параметров. От 16 ГБ, если планируете модели на 20 миллиардов параметров и выше или несколько сервисов одновременно.

• Диск: от 60 до 80 ГБ свободного места. SSD или NVMe заметно ускорят работу, но и на HDD стек запустится, просто медленнее.

• Интернет: нужен только на этапе сборки. После неё весь стек работает офлайн.

Здесь важно быть честным: всё на CPU бывает медленно. Руководство прямо указывает: от 3 до 15 минут на ответ крупной модели, от 5 до 10 минут на одну картинку. Технология mmap (когда ядро системы подгружает страницы модели по требованию и вытесняет неиспользуемые) делает процесс предсказуемым, но не быстрым.

Как попробовать?

1. Установите Debian 12 (bookworm) x86_64 с Python 3.11 (идёт в комплекте), а также git, cmake, build-essential, python3-venv и python3-pip.

2. Соберите llama.cpp из исходников и скачайте тестовую модель (в руководстве используется Qwen3.5-2B-Q4_K_M). Запустите llama-server с флагами mmap и лимитом памяти, убедитесь, что чат работает на localhost.

3. Наполните стек моделями под разные задачи: универсальный чат, кодинг, русский язык, распознавание изображений (vision/OCR). Мультимодальные модели (которые работают и с текстом, и с картинками) раскладываются в отдельные подпапки. Руководство включает HTML-шпаргалку с описанием сильных и слабых сторон каждой модели.

4. При необходимости добавьте генерацию изображений (stable-diffusion.cpp) и веб-интерфейс Open WebUI. Оркестратор run_webui.sh поднимает llama-server в фоне, дожидается готовности, запускает WebUI и корректно останавливает оба процесса по Ctrl+C.

Облачные сервисы в России: что доступно, а чего не хватает?

Для авторов Дзена и предпринимателей из РФ облачные сервисы YandexGPT и GigaChat остаются самым быстрым способом получить ответ. Но если ваши тексты содержат коммерческую тайну, клиентские данные или вы работаете в месте без стабильного интернета, локальные нейросети решают задачу, которую облако решить не может: полная автономность и приватность.

Что вы получите после всех пяти шагов?

• Рабочий чат с LLM по адресу вашей машины в локальной сети (порт 8080) с логином, историей и настройкой параметров.

• Генератор картинок (порт 8888) с промптом, выбором размера и количества шагов.

• HTML-шпаргалку, какая модель для какой задачи, открывается в браузере без сервера.

• Папку offline_packages для развёртывания на другой машине без интернета. Версии зафиксированы в requirements.lock.

Что делать с этим прямо сейчас, по ролям?

Авторам Дзена: если вы используете нейросети для рерайта, генерации идей или проверки текстов, локальный стек позволяет делать это без подписок и без риска, что ваши черновики попадут в обучающие данные (данные, на которых модель училась) чужой модели. Скорость ниже, но конфиденциальность абсолютная.

Маркетологам: генерация картинок и текстов на собственной машине убирает вопрос «а не утечёт ли бриф клиента». Для агентств, работающих под NDA, это аргумент в переговорах.

Предпринимателям РФ и СНГ: стек собирается на любом офисном компьютере с 8 ГБ RAM. Это способ дать команде доступ к ИИ-инструментам без ежемесячных платежей и без зависимости от доступности зарубежных сервисов.

Частые вопросы

Нужна ли видеокарта для запуска?

Нет. Весь стек рассчитан на работу исключительно на CPU. Видеокарта, драйверы CUDA и прочие GPU-зависимости не требуются. Технология mmap позволяет запускать модели, которые не помещаются в оперативную память целиком: система подгружает нужные фрагменты с диска по мере необходимости.

Можно ли перенести готовый стек на другой компьютер без интернета?

Да, именно для этого предусмотрен пятый шаг руководства. Все Python-пакеты (включая CPU-версию PyTorch) собираются в папку offline_packages, версии фиксируются в requirements.lock. На новой машине с Debian 12 достаточно развернуть эту папку и виртуальное окружение, интернет не понадобится.

Смогут ли другие люди в моей сети пользоваться чатом?

Да. Open WebUI доступен по IP-адресу вашей машины на порту 8080 из локальной сети. Доступ защищён логином и паролем: первый зарегистрировавшийся пользователь становится администратором и может закрыть регистрацию для остальных или открыть её для коллег и домашних.

Локальные нейросети на CPU в 2025 году напоминают домашний Linux в 2005: медленно, требует терпения, зато вы контролируете каждый байт и не зависите ни от чьих серверов, подписок и политик.