LLM-шлюз Keystone вышел в версии 1.0: новая нейросеть больше не требует переписывать код

Раньше программисты вписывали название модели, например gpt-4o, прямо в код, и оно устаревало в день выхода следующей версии. Авторы Keystone в описании релиза приводят пример: десять сервисов означают десять переписываний и десять раз разнесённые по настройкам ключи доступа к вендорам. Keystone, полное название The Model Switchboard («коммутатор моделей»), сокращённо KTMS, забирает эту работу на себя.

LLM-шлюз (диспетчер между вашими программами и большими языковыми моделями, то есть нейросетями, которые пишут и понимают текст) работает как единая дверь. Сервис не называет модель, он сообщает сложность задачи: низкая, средняя или высокая. Шлюз сам решает, какую нейросеть позвать, с каким ключом и не отдать ли запрос вашей собственной видеокарте (GPU).

Коротко о главном

Что нового в версии 1.0?

Все три программы написаны на языке Go. Шлюз ставится на ваш собственный сервер. Вот что появилось на пути от версии 0.13 к 1.0:

• Организации и команды. Ключи группируются по командам. У каждой команды свой список разрешённых нейросетей и месячный бюджет на все её ключи, а видит она только свои модели.
• Одна попытка равна одному вызову. Встроенные повторы запросов отключены, поэтому одно обращение шлюза означает ровно один вызов вендора.
• Пауза при перегрузке. Если вендор просит подождать, шлюз ставит модель на паузу и идёт дальше по цепочке. Сбойную пару «вендор и модель» дополнительно отключает автоматический предохранитель (circuit breaker).
• Работа при сбоях. Если отказала база данных Postgres, ключи, проверенные за последние 5 минут, продолжают работать, а маршруты берутся из последнего снимка настроек. Если отказало хранилище Redis (быстрая память для счётчиков и кэша), лимиты не блокируют трафик.
• Учёт без пропусков. События о вызовах копятся в очереди и доставляются ровно один раз.
• Ответы в нужном формате. Шаблон данных (JSON Schema) передаётся вендору целиком. Если вендор так не умеет, шлюз сам проверяет ответ, один раз повторяет запрос и переходит к следующей модели.
• Свои видеокарты по реальной очереди. Программа на сервере сообщает, сколько запросов ждёт в очереди, и шлюз не отправит запрос туда, где он прождёт дольше допустимого.

Шлюз занимает около 7 МиБ памяти в простое

Авторы тестировали 11 шлюзов на сервере Google Cloud с 4 виртуальными ядрами. Keystone занимал около 7 МиБ (мебибайт, чуть больше мегабайта) в простое и около 20 МиБ при 200 запросах в секунду, без учёта Postgres и Redis. Без ошибок он выдерживал не меньше 4000 запросов в секунду.

Добавленная задержка составила около 0,64 миллисекунды в половине запросов и не больше 1,1 миллисекунды в 99 случаях из 100. От запуска до первого ответа проходит около 170 миллисекунд, образ для скачивания весит около 21 МБ.

Авторы сами признают, что быстрее других их шлюз не работает: agentgateway, Apache APISIX и Kong добавляют меньше задержки и тратят меньше процессора на запрос. Себя они относят к верхней группе по сочетанию памяти, скорости запуска и возможностей.

Как подключить Keystone за четыре шага?

1. Развернуть шлюз на своём сервере. Авторы публикуют подписанные образы и готовый установочный пакет.
2. Начать с команды ktms init в утилите командной строки ktms.
3. Задать правила: какие нейросети звать для лёгких, средних и сложных задач и какая модель будет запасной (фолбэк). В примере из описания простые задачи уходят в deepseek-chat, а при сбое в gpt-4o-mini.
4. Переключить существующий код. Если программа работает через библиотеку OpenAI, достаточно сменить адрес base_url на адрес шлюза и указать модель auto. Служебные заголовки в ответе покажут, какой вендор и по какому правилу ответил.

Чем Keystone отличается от YandexGPT и GigaChat?

YandexGPT и GigaChat сами по себе нейросети, а Keystone только диспетчер, который выбирает, какую нейросеть позвать. В схеме из описания перечислены OpenAI, Anthropic, Gemini, DeepSeek и Bedrock. Поддерживает ли шлюз YandexGPT и GigaChat, авторы не уточняют.

Запросы можно отправлять и на свои серверы с видеокартами через программы для запуска открытых моделей: Ollama, vLLM, TGI и llama.cpp. Есть режим «только свои ноды», при котором данные не уходят внешним вендорам.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Сам шлюз вам не нужен, это инструмент для программистов. Но если заказываете у разработчика бота или сервис для генерации текстов, спросите, вписано ли название модели прямо в код. Если да, при выходе новой нейросети вы будете платить за переделку.

Маркетологу и агентству. Keystone ставит дневные и месячные лимиты расходов на ключ, сотрудника, команду и организацию. Есть и ограничение по токенам (кусочкам текста, по которым вендоры считают оплату). Так случайный цикл запросов не съест месячный бюджет клиента.

Предпринимателю РФ и СНГ. Код открыт, шлюз работает на вашем сервере. Ограничений по странам в описании нет. Если держите свои видеокарты с открытыми моделями, шлюз отправит туда простые задачи, а платные внешние модели оставит для сложных.

Что чаще всего спрашивают про LLM шлюз?

Нужно ли уметь программировать, чтобы поставить Keystone?

Да, хотя бы на базовом уровне администрирования серверов. Веб-консоль ktms-admin упрощает повседневное управление, но установку и настройку базы данных делает специалист.

Сколько стоит Keystone?

Сам шлюз распространяется под открытой лицензией Apache 2.0. Платите вы за сервер и за запросы к вендорам, а light-tokenmeter показывает, куда уходят деньги.

Что будет, если вендор перестанет отвечать?

Шлюз переключится на следующую модель из цепочки, и сервис этого не заметит. Именно ради этого стоит один раз прописать запасную модель, а не ждать, пока сломается единственная.