Централизуем использование ИИ с помощью Agentgateway: один шлюз вместо десятка конфигов

Проект Agentgateway (далее AGW) создан компанией Solo.io, написан на Rust и входит в Linux Foundation. Первый релиз (v0.0.2) вышел в марте 2025 года, текущая версия на момент публикации источника дошла до v1.6.0. Код открыт и лежит на GitHub. Именно этот инструмент выбрала команда RED Security после сравнения с альтернативами lunar.dev и MCPJungle: те оказались либо слишком сложны в настройке «из коробки», либо требовали доступа к интернету, а в одном из образов обнаружились жёстко прописанные учётные данные и внешний хост для отправки логов.

Что делает AGW на практике?

AGW выполняет четыре базовые функции:

• Шлюз до LLM-провайдеров (поставщиков языковых моделей, таких как OpenAI, Anthropic и других).
• Шлюз для MCP-серверов и A2A-соединений (A2A означает Agent-to-Agent, то есть связь между ИИ-агентами напрямую).
• Управление трафиком: лимиты на токены (единицы текста, которыми модель измеряет объём запроса и ответа), добавление или удаление заголовков, проверка содержимого запросов.
• Маршрутизация инференса (инференс, это процесс, при котором модель генерирует ответ на ваш запрос).

Развернуть AGW можно двумя способами: как отдельный контейнер (standalone) или внутри Kubernetes-кластера.

Что понадобится

• Docker, установленный на сервере или рабочей машине.
• Docker-образ AGW версии 1.5.0 или новее.
• Доступ к терминалу с правами на запуск контейнеров.
• Около 15 минут на базовую настройку.

Пошаговая инструкция

1. Скачайте образ AGW.

docker pull cr.agentgateway.dev/agentgateway:v1.5.0

2. Создайте директорию для конфигурации.

В ней будут лежать файл настроек config.yaml и база данных SQLite, которую AGW создаст автоматически.

mkdir agw-config

3. Запустите контейнер.

Обратите внимание: адрес 127.0.0.1 указан намеренно, чтобы веб-интерфейс не оказался открыт в интернет до настройки авторизации.

docker run -d \
  --name agentgateway \
  --user "$(id -u):$(id -g)" \
  -v "$PWD/agw-config:/config" \
  -p 127.0.0.1:4000:4000 \
  cr.agentgateway.dev/agentgateway:v1.5.0

4. Проверьте логи.

Если всё прошло успешно, в логах контейнера появится строка serving UI at http://localhost:4000/ui и сообщение marking server ready.

5. Откройте веб-интерфейс.

Перейдите в браузере по адресу http://localhost:4000/ui.

6. Включите модули LLM и MCP.

В интерфейсе вы увидите переключатели для LLM и MCP. Кликните на каждый: прямоугольники должны изменить цвет, подтверждая активацию. После этого нажмите «Continue».

7. Добавьте LLM-провайдера.

Перейдите в раздел «Providers», нажмите «Add provider» и укажите данные вашего поставщика: API-ключ, адрес и тип модели.

Пять ключевых понятий AGW

Чтобы централизовать использование ИИ с помощью Agentgateway, полезно понимать его внутреннюю логику. Вся маршрутизация строится на пяти сущностях:

• Gateways (ворота): именованный порт и протокол (HTTP, HTTPS, TCP, TLS), через который трафик входит в шлюз. К воротам можно подключить сертификаты.
• Listeners (слушатели): компоненты внутри ворот. Если у шлюза несколько доменных имён с разными TLS-сертификатами, каждому нужен свой слушатель. По умолчанию у шлюза один слушатель.
• Routes (маршруты): правила обработки и перенаправления трафика. Маршрут привязывается к воротам по имени, один маршрут может обслуживать несколько ворот.
• Backends (бэкенды): конечные адреса, куда уходит трафик: IP-адрес, доменное имя, LLM-провайдер или MCP-сервер.
• Policies (политики): правила безопасности, мониторинга и управления трафиком. Для разных объектов доступны разные наборы политик, например лимиты токенов для маршрутов и правила фильтрации для бэкендов.

Что с этого вам по ролям?

Автору на Дзене AGW полезен косвенно: если вы используете несколько ИИ-сервисов для генерации черновиков, проверки текстов и работы с изображениями, шлюз позволит не переключаться между ключами и интерфейсами. Но для одиночки это скорее избыточно, решение заточено под команды.

Маркетологу и руководителю отдела AGW решает конкретную боль: вы видите, сколько токенов тратит каждый сотрудник, можете задать лимиты по ролям и не допустить ситуации, когда один эксперимент за ночь съедает месячный бюджет на API.

Предпринимателю в РФ и СНГ важен нюанс: AGW, это опенсорс (открытая модель с доступным исходным кодом), разворачивается на вашем сервере, данные не уходят на сторону. Это критично для компаний, которые работают с чувствительной информацией и подключают российских LLM-провайдеров. Из российских аналогов единого шлюза для LLM-провайдеров на момент публикации массовых решений нет, AGW закрывает эту нишу.

Если ваша команда работает хотя бы с двумя LLM-провайдерами и вы до сих пор не знаете, сколько токенов ушло на прошлой неделе, AGW стоит попробовать в эти выходные: Docker, один файл конфигурации, 15 минут, и контроль возвращается к вам.