Классический прокси не видит утечек и токенов: компаниям нужен корпоративный AI-шлюз

Прокси, это посредник между сотрудниками и внешними сервисами, через который компания пропускает весь сетевой трафик. Авторы цикла объясняют, почему такого посредника мало для LLM (больших языковых моделей вроде GigaChat или YandexGPT), и описывают отдельный слой, AI-шлюз. Ниже их разбор в виде чек-листа, по которому можно навести порядок с нейросетями в своей компании или у клиента.

Стихийный ИИ создаёт четыре риска сразу

Прямые запросы к нейросетям мимо общего контура лишают компанию двух вещей: она не может посчитать расходы и не знает, куда уходят данные. Авторы выделяют четыре риска:

• Теневой ИИ. Разработка, поддержка и аналитика заводят собственные API-ключи (личные пропуска к сервису нейросети). Расходы выпадают из общего учёта, трафик не видят системы информационной безопасности.
• Утечки в промптах. Исходный код, договоры и персональные данные уходят во внешние нейросети без обезличивания и без записи о том, что их вообще передали.
• Бесконтрольные ИИ-агенты. Агенты (программы, которые сами выполняют цепочку действий) могут зациклиться. Без лимитов лавину вызовов не остановить вовремя, и счёт обнаруживается постфактум.
• Нет журнала аудита. Служба безопасности и аудиторы не получат проверяемую историю обращений.

Почему Nginx и Envoy не справляются с нейросетями?

Первая реакция инженеров понятна: закрыть прямой выход наружу и пустить запросы через уже работающий прокси на Nginx, Angie, Envoy или Kong. Авторы перечисляют, где такой путь упирается в стену:

• Потоковые ответы. Модель отдаёт текст непрерывным потоком SSE (Server-Sent Events, ответ идёт кусками, как бегущая строка). Обычный прокси не замаскирует паспорт, СНИЛС или номер счёта, если они разбиты на несколько кусков, и не прервёт сессию с записью инцидента. Для соблюдения 152-ФЗ, закона о персональных данных, это прямая проблема.
• Маршрут по содержанию. Типовая архитектура крупной российской компании, по описанию авторов, гибридная. Это локальный инференс (запуск модели на собственных серверах) на vLLM или Ollama с открытыми весами Qwen и DeepSeek, а для некритичных задач внешние GigaChat и YandexGPT. Балансировщик не поймёт, что в промпте закрытый код, и не отправит его на свои видеокарты.
• Лимиты по числу запросов. Один вызов с контекстом в 64 000 токенов (токен, кусочек слова, которым модель меряет текст) нагружает видеопамять сильнее сотни коротких обращений.
• Учёт денег. Прокси считает байты и запросы, а не входные, выходные и кэшированные токены.
• Кэш и агенты. Прокси не выстраивает системные инструкции так, чтобы они стабильно попадали в кэш, поэтому компания повторно платит за одни и те же фрагменты. Он не контролирует и MCP, открытый протокол, через который агенты подключаются к инструментам и получают доступ во внутреннюю сеть.

У всех пяти пунктов общий знаменатель: проблемы касаются смысла текста, а не сети. Классический прокси видит конверт, но не читает письмо.

Что понадобится для своего AI-шлюза?

• Перечень всех, кто обращается к нейросетям: бэкенд-сервисы, редакторы кода, веб-интерфейс, агенты и скрипты аналитики.
• Правила, какие данные нельзя отправлять наружу.
• Доступ к локальным моделям, внешним API или к обоим вариантам.
• Бюджет в рублях с разбивкой по проектам.
• Специализированный шлюз. В источнике это AI Оптимум, цены и сроки внедрения авторы не называют.

Как пошагово навести порядок с нейросетями в компании?

1. Найдите теневой ИИ: соберите все API-ключи, которые отделы завели сами.
2. Закройте прямой доступ к нейросетям и направьте весь трафик в одну точку входа.
3. Разделите данные по категориям: закрытый код и персональные данные идут только на локальные модели, общие запросы можно отдавать во внешнее облако. Решать должен шлюз, а не сотрудник.
4. Включите маскирование персональных данных в промпте и проверку потока ответа.
5. Ставьте лимиты в токенах, а не в числе запросов. Нужны мягкие квоты с предупреждением и жёсткие, которые блокируют запросы до появления непредвиденного счёта.
6. Распределите расходы по центрам ответственности, проектам и ключам.
7. Ведите централизованный журнал всех обращений и отдельно контролируйте вызовы инструментов агентами.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если вы пишете для клиентов, не вставляйте в нейросеть договоры и данные людей целиком. Обезличивайте вручную, пока у заказчика нет шлюза.

Маркетологу. Попросите считать расходы на нейросети в токенах по каждому проекту. Без этого не понять, какая кампания съедает бюджет.

Предпринимателю РФ и СНГ. Из доступных в РФ облачных моделей авторы называют GigaChat и YandexGPT, а для чувствительных данных локальные Qwen и DeepSeek. Начните с инвентаризации ключей: это бесплатно и сразу показывает масштаб теневого ИИ.