Лёгкие LLM на CPU: VPS за 1,5 тыс. ₽ в месяц разобрал 20 обращений из 20

Локальный запуск нейросетей до сих пор упирался в дорогие видеокарты, которые к тому же трудно найти. Автор эксперимента арендовал у Justhost.ru VPS (виртуальный сервер с помесячной оплатой): 4 виртуальных ядра, 4 ГБ оперативной памяти, без видеокарты. На нём он прогнал девять моделей на семи бизнес-задачах и проверил сервер под нагрузкой.

По сути, это практический ответ на вопрос «лёгкие LLM на CPU: какие задачи реально решать на недорогом VPS». LLM здесь означает большую языковую модель, то есть нейросеть, которая понимает и пишет текст, а CPU обычный процессор.

Что нового?

• Помещаются модели до 4 млрд параметров. Параметры можно представить как «нейроны» модели: чем их больше, тем она умнее и тем больше ей нужно памяти. Модели сжимали квантизацией Q4_K_M, это упаковка с небольшой потерей качества, примерно как сжатие фото в JPEG.
• Короткие задачи решаются на рабочем уровне. QVikhr-3-4B, дообученная на русском, правильно разметила 20 обращений из 20, по 3,5 секунды на каждое. Потолок сервера около 950 таких запросов в час.
• Извлечение данных из заявок, чистка CRM (базы клиентов) и черновики объявлений для Яндекс Директа работают с условием. Ответы модели должна проверять программа, а всё, что уходит наружу, читает человек.
• Длинные тексты идут медленно. Резюме документов и ответы по базе знаний занимают от 40 до 100 секунд на ответ. Для фоновой обработки это годится, для чата с клиентом нет.
• Модели на 1 и 2 млрд параметров для бизнеса не подходят. Они путают категории и придумывают факты. Это называют галлюцинацией: ИИ уверенно выдаёт то, чего не было.
• Запросы обрабатываются строго по очереди. Параллельные слоты и встроенные настройки ускорения скорость на этом сервере не увеличили.

Шаблон из коробки пришлось перенастраивать

Шаблон собран под одну маленькую модель и чат. Внутри стоят Ollama 0.35, веб-интерфейс Open WebUI 0.11 и предустановленная модель llama3.2:1b весом 1,3 ГБ. Сторонние программы подключаются к модели по ключу доступа через вход, совместимый с OpenAI.

Показательная деталь: предустановленная модель отвечает быстро, но в бизнес-тестах оказалась худшей из девяти. Open WebUI сам занимает около гигабайта, то есть четверть памяти. Поэтому для модели на 4 млрд параметров интерфейс пришлось остановить.

Контейнеры Docker с программами занимают около 13 ГБ диска ещё до первой скачанной модели, автоматических резервных копий нет. Без подкачки на диск (запасной памяти на жёстком диске) система закрывала крупные модели на длинных текстах. В первые дни сервер начали перебирать боты, и подключения стабилизировались только после установки защиты fail2ban, которая блокирует адрес после пяти неудачных попыток входа.

Как попробовать?

1. Закажите у Justhost.ru VPS с шаблоном Ollama. Минимальные требования шаблона: 4 ГБ памяти, 4 ядра и 40 ГБ диска, но автор советует сразу брать 8 ГБ памяти.
2. Добавьте подкачку на 4 ГБ, иначе модели на 4 млрд параметров будут падать на длинных текстах. Если памяти всего 4 ГБ, на время работы остановите Open WebUI.
3. Скачайте QVikhr-3-4B с Hugging Face (площадка, где выкладывают открытые модели) и прогоните её на 20 своих реальных обращениях.
4. Во время работы не запускайте на сервере ничего постороннего: пробный прогон параллельно со скачиванием моделей шёл в 1,7 раза медленнее.

Российские модели покрупнее в 4 ГБ не поместились

Лидером на классификации стала QVikhr, дообученная на русском. Более крупные российские модели в такую память не влезли, автор отложил их до теста на сервере побольше.

Облачные YandexGPT и GigaChat работают через интернет. Здесь речь о другом сценарии: модель живёт на вашем сервере, и данные клиентов никуда не уходят.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Такой сервер подойдёт для фоновой разметки комментариев по тональности. Отвечать читателям вживую он не сможет.

Маркетологу. Черновики объявлений для Директа модель пишет, но каждый текст перед запуском должен прочитать человек. Сортировка входящих заявок со скоростью около 950 в час снимает ручную рутину.

Предпринимателю в РФ и СНГ. Сервер оплачивается в рублях, а данные клиентов не уходят в облачные сервисы. Начните с классификации обращений, это самая надёжная задача в тесте.

Разработчику. Закладывайте программную проверку каждого ответа модели. Время на настройку параллельной обработки лучше не тратить: на этом железе она не помогла.

Какие вопросы задают чаще всего?

Можно ли поставить на такой сервер чат-бота для клиентов?

Для коротких ответов в фоне можно, для живого диалога нет. Длинные тексты занимают до 100 секунд на ответ, а запросы обрабатываются по очереди.

Хватит ли 4 ГБ памяти?

Для теста хватит, если остановить интерфейс и добавить подкачку. Для работы автор рекомендует брать 8 ГБ памяти как минимальную базу.

Подойдёт ли совсем маленькая модель, чтобы сэкономить?

Нет. Модели на 1 и 2 млрд параметров путают категории и придумывают факты, а предустановленная llama3.2:1b заняла в тесте последнее место. Экономия на размере модели обойдётся дороже, чем переход на сервер с 8 ГБ памяти.