Какой уровень модели OSI отвечает за маршрутизацию и при чём тут экономия на ИИ

Термин «маршрутизация моделей» пришёл по аналогии из сетевых технологий. В классической модели OSI именно сетевой (третий) уровень отвечает за логическую адресацию и маршрутизацию: он решает, каким путём отправить пакет данных. В мире ИИ идея та же: система-«маршрутизатор» решает, какую языковую модель вызвать для конкретного запроса, чтобы не тратить дорогие токены (единицы текста, которые модель обрабатывает за деньги) на простую задачу. Об этом тренде рассказал в интервью Latent Space Арвинд Джейн, сооснователь и глава компании Glean, бывший инженер Google уровня Distinguished Engineer.

Glean растёт на маршрутизации: цифры и механика

Glean специализируется на внедрении ИИ в крупные организации. По данным Latent Space, в июне прошлого года компания привлекла 150 миллионов долларов в раунде Series F при оценке 7,2 миллиарда. В этом году годовая повторяющаяся выручка (ARR) достигла 300 миллионов долларов, что втрое больше, чем 15 месяцев назад.

Платформа предлагает три уровня выбора модели:

• Сотрудник вручную указывает, какую модель использовать.
• Администратор ограничивает набор моделей или задаёт лимиты расхода.
• Автоматический режим: система сама подбирает модель под каждую задачу.

Большинство клиентов Glean выбирают именно автоматический режим, и причина проста.

Почему все говорят о маршрутизации моделей? Почему она вызывает такой интерес? В основном из-за стоимости. : Арвинд Джейн, CEO Glean

Сооснователь Glean и технический руководитель Тони Джентилкор заявил, что платформа обходится в четыре раза дешевле, чем Claude Code: в среднем 0,45 доллара за задачу против 1,84 доллара. По его словам, это результат работы «маршрутизатора и обвязки» Glean.

Почему корпоративные расходы на ИИ вышли из-под контроля?

Джейн объяснил механику роста затрат. Новые продвинутые модели, такие как последние версии GPT и Opus, стоят в расчёте на токен вдвое или вчетверо дороже предыдущих. При этом пользователи запускают на них более длинные и сложные задачи. В итоге расходы на одного сотрудника за год выросли в 10-20 раз.

Для частного пользователя подписка за 20 или 200 долларов в месяц выглядит разумной. Для компании с тысячами сотрудников затраты быстро становятся неуправляемыми.

Аргументы за маршрутизацию

Экономия без потери качества. Glean сначала собирает «сырьё» для задачи, внутренние документы, данные, контекст, не тратя токены дорогой модели. За это отвечает собственная модель Waldo, которую компания представила в апреле как «первую агентную поисковую модель Glean». Waldo решает, как разбить вопрос, какие инструменты задействовать, что прочитать, и только потом передаёт подготовленный запрос большой модели. Как отметил Джейн, дешёвая модель с точным контекстом может обойти дорогую модель, перегруженную лишними данными.

Обратная связь от реальных пользователей. Glean видит, как тысячи обычных офисных сотрудников работают с ИИ. Например, по данным компании, в Zillow платформу используют 80% из 7 000 сотрудников, а в Booking.com Glean стала первой ИИ-платформой, развёрнутой на всю компанию. Система фиксирует, какую модель пользователь выбрал сначала, когда остался недоволен и переключился на другую. Эта петля обратной связи в масштабе улучшает автоматический маршрутизатор.

Рост открытых моделей. Джейн подтвердил резкий рост интереса корпораций к моделям с открытыми весами (open weights), таким как Kimi K3 и Qwen3.8-Max, за последние три месяца. Причина: инференс (выполнение запросов) на открытых моделях дешевле на порядок. Ещё год назад, по словам Джейна, «использование открытых моделей было мизерным, и никто всерьёз их не рассматривал», отчасти из-за «стигмы» разработки за пределами США.

Аргументы против: где маршрутизация пока буксует?

Сложность оценки качества. Автоматический выбор модели предполагает, что система корректно оценивает сложность задачи до её выполнения. На практике маршрутизатор может отправить сложный аналитический запрос дешёвой модели и получить поверхностный ответ. Пользователь может этого не заметить, если не проверяет результат.

Зависимость от вендора. Клиент Glean получает удобство, но теряет прямой контроль: решение о том, какая модель отвечает, принимает платформа. Для компаний с жёсткими требованиями к безопасности и комплаенсу это дополнительный слой доверия, который нужно обосновать.

Открытые модели не для всех. Джейн сам признал, что ещё недавно открытые модели не рассматривались всерьёз. Регуляторные ограничения, вопросы происхождения обучающих данных и отсутствие корпоративной поддержки остаются барьерами, особенно для компаний в регулируемых отраслях.

Что это значит для вас, по ролям?

Автору на Дзене. Если вы платите за несколько подписок на разные модели, маршрутизация позволяет тратить меньше. Уже сейчас можно вручную применять тот же принцип: простые задачи (план статьи, заголовки) отдавать бесплатным или дешёвым моделям, а сложные (глубокий ресёрч, длинный текст) направлять на продвинутые.

Маркетологу. Glean показывает, что стоимость ИИ на сотрудника растёт кратно. Если ваш отдел масштабирует использование ИИ, заложите в бюджет не только подписку, но и инструмент управления моделями, иначе затраты выйдут из-под контроля.

Предпринимателю в России. Прямой доступ к Glean из РФ ограничен, как и ко многим западным API. Из доступных в России аналогов маршрутизации стоит смотреть на агрегаторы, которые позволяют переключаться между YandexGPT, GigaChat и доступными открытыми моделями. Принцип тот же: не привязываться к одному провайдеру, а распределять задачи по стоимости и качеству.

Покупка OpenRouter компанией Stripe за более чем 7 миллиардов, рост Glean втрое за 15 месяцев и резкий разворот корпораций к открытым моделям говорят об одном: в ближайший год маршрутизация моделей станет стандартным слоем между пользователем и ИИ, как балансировщик нагрузки стал стандартом для веб-сервисов. Вопрос для российского рынка не «если», а кто первым предложит такой слой для локальных моделей и API.