ИИ-агенты: скачать локальную установку на GPU за вечер и обойтись без внешних API

Развернуть локальных ИИ-агентов на собственном сервере без внешних API можно за один вечер, но двенадцать ошибок в конфигурации способны превратить этот вечер в бессонную ночь.

Автор оригинального разбора собрал стенд на виртуальной машине VK Cloud с видеокартой A30 на 24 ГБ памяти, подключённой через Passthrough (прямой проброс GPU в виртуальную машину). На этом стенде запущены локальная языковая модель на 20 млрд параметров, отдельная модель для изображений и агентная платформа OpenClaw с инструментами и скиллами. Внешние LLM-сервисы не задействованы. Статья фиксирует три реальных сбоя с репликами агента и выводами команд, которые разработчик устранял на русском «железе». Для тех, кто хочет скачать локальную установку ИИ-агентов и запустить их без зависимости от зарубежных API, этот разбор экономит часы отладки.

Что понадобится?

• Виртуальная машина с GPU. В разборе использована VK Cloud с картой A30 (24 ГБ). Драйвер NVIDIA 595.71.05 и CUDA 13.2 приезжают в образе Ubuntu 24.04 LTS, ставить вручную не нужно. Проверить готовность можно командой nvidia-smi.
• Ollama для запуска локальной модели (опенсорс, открытая модель, бесплатно).
• OpenClaw как агентная платформа с инструментами, скиллами и панелью управления.
• Модель на 20 млрд параметров (файл занимает около 13 ГБ, остальное отдаётся KV-кешу, внутреннему буферу, где модель хранит контекст диалога).
• Время: базовая установка укладывается в один вечер. Отладка ошибок может занять столько же.

Пошаговая инструкция

1. Закажите виртуальную машину с GPU. В личном кабинете VK Cloud выберите тип с графическим ускорителем A30 и образ Ubuntu 24.04 LTS. Убедитесь, что драйвер уже на месте:

nvidia-smi

Если команда возвращает таблицу с именем карты и версией CUDA, всё готово. Ставить nvidia-driver вручную не требуется.

1. Установите Ollama. Ollama превращает сервер в локальный эндпоинт для языковой модели. После установки загрузите нужную модель (20 млрд параметров, файл около 13 ГБ). При одном пользователе и последовательных запросах карта на 24 ГБ справляется с запасом.

2. Разверните OpenClaw. Подключите платформу к Ollama. Именно на этом шаге прячутся главные ошибки: агент не может достучаться до Ollama, панель не проходит авторизацию, ключ отклоняется из-за прав доступа, а gateway показывает зелёный статус, но игнорирует изменения в конфиге.

3. Проверьте связку через логи, а не через панель. Панель может показывать «всё зелёное», когда модель отвечает пустой строкой. Лог покажет, где именно обрыв. Автор разбора столкнулся с ситуацией, когда в логах не было ни одной явной ошибки, но модель молчала. Причина пряталась в конфигурации связей между компонентами.

4. Настройте ночной скилл по расписанию. Вместо того чтобы запускать задачи вручную через панель управления, создайте скилл (автоматический навык агента), который срабатывает по расписанию. По наблюдению автора, скилл по расписанию оказался удобнее панели. Агента можно запускать хоть каждые десять минут, например, регулярно разбирать очередь задач или собирать материалы по заданным темам. Токены не тарифицируются, поэтому частота запросов ограничена только мощностью карты.

5. Проверьте, какие данные уходят наружу. Локальной остаётся модель, но не все инструменты. Если агент использует веб-поиск, текст запроса уходит внешнему поисковику. Когда это недопустимо, поиск отключают в конфигурации, а агенту передают только заранее подготовленные файлы.

Что делать с этим прямо сейчас?

Авторам Дзена. Ночной скилл по расписанию, это готовый сценарий для сбора материалов по темам. Агент проверяет очередь, собирает данные, утром вы получаете черновики. Промпты и содержимое документов остаются внутри проекта. Если вы искали способ скачать локальную установку ИИ-агентов и не зависеть от подписок, этот стенд закрывает задачу.

Маркетологам. Экономика меняется: нет потокенной тарификации. Чем чаще агент работает, тем дешевле каждый запрос в пересчёте на стоимость аренды GPU. При регулярных задачах (мониторинг упоминаний, разбор обратной связи) локальный контур выгоднее внешнего API.

Предпринимателям в РФ. VK Cloud доступен в России, данные не уходят за границу. Но помните оговорку: локальная модель на 20 млрд параметров не заменяет Claude или GPT на сложных конвейерах. Она уверенно закрывает короткие задачи с понятной инструкцией.

Двенадцать ошибок за вечер звучит как провал, но каждая из них, это урок, который больше не повторится, если читать логи, а не панель.