API-шлюз для AI в компании: как не слить данные и не попасть на штраф от 20 млн ₽

Назар Башинский, разработчик компании AGIMA, описал на Хабре, как устроен корпоративный API-шлюз для работы с LLM (большими языковыми моделями). Суть простая: между сотрудником и моделью встаёт управляемый слой, который решает, кому что разрешено, какие данные можно отправлять, а какие нужно замаскировать, и к какому провайдеру направить запрос. На фоне того, что российские компании обязаны соблюдать 152-ФЗ, а привычный ChatGPT здесь заблокирован, такой шлюз из удобства превращается в необходимость.

Зачем шлюз, если можно просто раздать доступ?

API-шлюз для ИИ не делает модель умнее. Он делает использование моделей наблюдаемым и управляемым. Перед каждым запросом шлюз принимает цепочку решений:

• Кто делает запрос и из какого инструмента.
• К каким моделям и функциям у этого пользователя есть доступ.
• Содержит ли запрос персональные данные, токены (уникальные ключи доступа), секреты или клиентскую информацию.
• Нужно ли замаскировать часть данных до отправки.
• Какая модель подходит по качеству, стоимости и скорости отклика.
• Куда переключиться, если основной провайдер недоступен.
• Как отнести стоимость запроса на конкретную команду или проект.

По описанию Башинского, рынок уже видит LLM не как отдельный чат, а как трафик, который нужно контролировать. Cloudflare AI Gateway предлагает аналитику, логи, кеширование и fallback (автопереключение на резервную модель). Kong выделяет маршрутизацию и governance (управление политиками) для ИИ-трафика. Microsoft показывает шлюзовые паттерны в Azure API Management с лимитами токенов и балансировкой нагрузки.

Что понадобится

• Доступ к провайдеру моделей. Любой совместимый с форматом OpenAI API: облачный или локальный. Для России это могут быть китайские провайдеры или собственные развёрнутые модели с открытыми весами (open weights, когда параметры модели опубликованы и можно запустить её на своём сервере).
• Сервер или облачная виртуальная машина для размещения шлюза.
• Шлюзовое решение. Открытые варианты: Kong AI Gateway, LiteLLM Proxy. Облачные: Cloudflare AI Gateway, Azure API Management.
• Настроенная служба авторизации (LDAP, SSO или API-ключи по командам).
• DLP-модуль или правила фильтрации (DLP, предотвращение утечки данных, система, которая ловит пароли, персональные данные и секреты до того, как они уйдут наружу).
• Время: базовая настройка занимает от нескольких часов до пары дней, в зависимости от числа команд и политик.

Пошаговая инструкция

1. Определите контур данных и юридические рамки. Согласуйте с отделом информационной безопасности и юристами, какие данные допустимо отправлять внешнему провайдеру, а какие должны оставаться внутри периметра. Для сценариев с персональными данными проверьте требования 152-ФЗ по трансграничной передаче.

2. Выберите и разверните шлюз. Установите выбранное решение на сервер. Укажите адрес вашего провайдера моделей как upstream (точку назначения):

# Пример: LiteLLM Proxy, файл config.yaml
model_list:
  - model_name: "gpt-4o"
    litellm_params:
      model: "openai/gpt-4o"
      api_base: "https://your-provider.example.com/v1"
      api_key: "sk-YOUR-KEY"

1. Настройте авторизацию и лимиты. Создайте виртуальные ключи для каждой команды или проекта. Задайте квоты: максимальное число токенов в сутки, допустимые модели, бюджетный потолок.

2. Подключите DLP-фильтрацию. Добавьте правила, которые перехватывают запросы с паролями, ключами, номерами паспортов и другими чувствительными сущностями. Настройте действие: блокировать запрос или заменить найденные данные на маркеры-заглушки до отправки модели.

3. Перенаправьте клиентские инструменты на шлюз. В IDE, чатах и скриптах сотрудников замените прямой адрес провайдера на адрес вашего шлюза:

# Было (прямой вызов)
OPENAI_API_BASE=https://api.openai.com/v1

# Стало (через корпоративный шлюз)
OPENAI_API_BASE=https://ai-gateway.your-company.ru/v1

Для пользователя меняется только адрес и токен. Инструмент продолжает работать как раньше.

1. Настройте маршрутизацию и fallback. Укажите, какие запросы идут к какому провайдеру. Добавьте резервную модель: если основной провайдер не отвечает, шлюз автоматически переключается на запасной.

2. Включите аудит и биллинг. Каждый запрос должен записываться в лог с указанием пользователя, команды, модели и количества потраченных токенов. Это позволяет видеть реальную экономику: сколько тратит каждый отдел и на какие задачи.

Что делать с этим прямо сейчас, по ролям?

Автору на Дзене и копирайтеру. Если вы работаете с ИИ через браузерные чаты и отправляете туда тексты клиентов, подумайте, что именно уходит наружу. Даже фрилансеру полезно понимать, как работает API-шлюз для ИИ: ваш заказчик из крупной компании может потребовать работу только через корпоративный контур.

Маркетологу и руководителю отдела. Шлюз позволяет увидеть, сколько реально тратит каждая команда на запросы к моделям, и перераспределить бюджет. Без него расходы на ИИ остаются невидимой статьёй.

Предпринимателю и техдиректору в РФ. ChatGPT официально недоступен, а штрафы за утечку персональных данных начинаются от 20 млн рублей (по данным из источника, это оборотные штрафы за повторные нарушения). Развёрнутый внутри периметра API-шлюз для ИИ закрывает и юридический, и операционный риск. Из доступных в России вариантов можно рассмотреть собственный шлюз на базе LiteLLM Proxy с подключением к YandexGPT, GigaChat или моделям с открытыми весами.

Башинский точно обозначил ключевую мысль: шлюз нужен не для того, чтобы модель стала умнее, а для того, чтобы компания понимала, что происходит с её данными и деньгами. Для российского рынка, где привычный ChatGPT заблокирован, а закон о персональных данных работает с оборотными штрафами, это не вопрос удобства, а вопрос выживания корпоративного ИИ-контура.