Как научить локальную LLM самообучаться: эксперимент на RTX 3080 с Qwen и GLM

Автор эксперимента столкнулся с типичной проблемой: Hermes Agent (агентный инструмент, который читает файлы, вызывает модель повторно и создаёт презентации) расходует лимит облачной модели в разы быстрее обычного чата. Вместо перехода на дорогой тариф он проверил, можно ли часть задач перенести на локальные модели Qwen и GLM, запущенные через Ollama на обычном домашнем ПК. Ниже то, что он выяснил, и пошаговая инструкция, как повторить это самому.

Что понадобится?

• Windows-ПК с видеокартой NVIDIA, от 10 ГБ видеопамяти (в эксперименте использовалась RTX 3080). Процессор Intel Core i9-10900, 32 ГБ оперативной памяти
• Ollama (бесплатный инструмент для запуска локальных моделей, ollama.com)
• Модели: Qwen3.5 9B, GLM-4.7-flash, Qwen3.5 27B в квантовании Q4_K_M (квантование означает сжатие весов модели, чтобы она поместилась в ограниченную видеопамять, ценой небольшой потери точности)
• Hermes Agent или любой агентный инструмент, работающий через API
• Время: около 2 часов на установку и первые тесты

Как запустить локальную модель и подключить её к агенту?

1. Установите Ollama. Скачайте с официального сайта, запустите установщик. После установки Ollama работает как локальный сервер и предоставляет API, совместимый с форматом OpenAI.

2. Загрузите модель. Откройте терминал и выполните:

ollama pull qwen3.5:9b

Для GLM:

ollama pull glm-4.7-flash:latest

Для крупной Qwen 27B (разместится частично в видеопамяти, частично в оперативной):

ollama pull qwen3.5:27b

1. Проверьте скорость генерации. Отправьте короткий запрос через терминал:

ollama run qwen3.5:9b "Объясни, что такое идемпотентность в API"

На RTX 3080 Qwen 9B в Q4_K_M выдавала около 89 токенов (фрагментов текста, на которые модель разбивает слова) в секунду на GPU. Это комфортная скорость для коротких запросов.

1. Настройте параметры генерации. Для содержательных задач автор эксперимента использовал такие параметры:

2. Контекстное окно: 32 768 токенов

3. Начальный бюджет генерации: 8 192 токена (если ответ обрывается, повтор с бюджетом 16 384)
4. Для текстовых задач: temperature 1.0, top_p 0.95, seed 42
5. Для работы с инструментами: temperature 0.7, top_p 1.0

6. num_batch: 128

7. Подключите модель к Hermes Agent через API. Ollama после запуска доступна по адресу http://localhost:11434. В настройках Hermes укажите этот адрес как эндпойнт (точку подключения) модели. Облачная модель остаётся основным исполнителем, локальная подключается как дополнительная.

8. Дайте модели реальную задачу и сравните результат с облачной. Автор давал четыре типа заданий: разбор рисков интеграции систем, выбор архитектурной схемы, редактуру технического текста и чтение файла с извлечением данных в JSON.

Где локальные модели справляются, а где нет?

Qwen 9B на коротких задачах, черновой редактуре русского текста и простых запросах работала достаточно быстро и давала пригодный результат. Как научить локальной LLM самообучаться на ваших задачах, вопрос не одного вечера, но первые выводы появляются уже после первого архитектурного кейса.

Содержательные задачи обнажили проблемы. Ни одна из трёх моделей не разобрала противоречие в условии: задержка «не более пяти минут» при недоступности приёмника на тридцать минут. Очередь сохранит события, но не доставит их в недоступную систему за пять минут. Облачная модель это противоречие ловила.

Крупные модели (Qwen 27B) размещались частично в видеопамяти, частично в оперативной памяти. Это означает замедление: часть вычислений идёт через процессор, а не GPU.

Автор сохранял исходные ответы локальных моделей без исправлений, чтобы результат облачной доработки случайно не выдать за возможности локальной. Скрипты испытаний и разбор ответов готовил с платной облачной моделью. Честный подход.

Что делать с этим прямо сейчас?

Авторам Дзена: локальная модель подходит для черновой редактуры текстов и генерации вариантов заголовков без лимитов. Qwen 9B на русском тексте показала пригодный результат. Но финальную вычитку лучше оставить облачной модели или себе.

Маркетологам: если вы используете агентные инструменты для работы с документами, локальная модель снимает проблему выбитого лимита посреди рабочего дня. Экономия реальна: 0 рублей за неограниченные запросы вместо перехода на тариф за 100 евро.

Предпринимателям в РФ и СНГ: Ollama и модели Qwen, GLM доступны без ограничений, не требуют VPN и не зависят от санкционных рисков. Из российских аналогов для облачной части по моим наблюдениям подойдут YandexGPT и GigaChat, но локальный запуск через Ollama работает с любой открытой моделью.

Главный вывод прост: попробуйте сами, на своём железе и своих задачах, потому что чужой рейтинг не скажет, где именно результат вас не устроит.