Языковые модели путаются в 90 инструментах: как роутер на RTX 3090 поднял точность выбора

Откуда взялась задача и почему стандартный подход не работает?

Источник описывает ИИ-оркестратор с более чем девяноста инструментами: таблицы, документы, почта, задачи, веб-страницы, презентации. На каждом шаге языковая модель выбирает, какой инструмент вызвать. Стандартный подход, который используют такие системы, как Hermes, OpenClaw и Ouroboros, показать модели весь список. Ни одна из них не фильтрует инструменты по тексту запроса.

Проблема в том, что эти ИИ-агенты (программы, которые сами решают, что делать дальше, без прямой команды на каждый шаг) рассчитаны на фронтирные модели, способные держать сотню кандидатов без потерь. Для локальной Qwen 3.6 на 27 миллиардов параметров с единственной RTX 3090 24 Gb задача другая: заставить минимальную конфигурацию выполнять корпоративные задачи с приемлемым качеством и скоростью.

Что понадобится?

• Видеокарта: RTX 3090 24 Gb (минимальный рабочий вариант) или доступ к облачной модели (GigaChat-2-Max, gpt-oss 120B или аналог)
• Локальная модель: Qwen 3.6 27B или сопоставимая открытая модель (модель с публично доступными весами)
• Оркестратор с настраиваемым роутингом: система должна позволять переключать режим отбора инструментов для каждой модели отдельно
• Корпус тестовых запросов: от 49 реальных пользовательских задач для замера
• Время: один прогон корпуса занимает от получаса, нужно минимум два прогона (узкий набор и полный) для сравнения

Пошаговая инструкция

1. Разбейте инструменты на разделы и подразделы. Сгруппируйте все инструменты по смыслу: «датасеты», «почта», «презентации» и так далее. Внутри каждого раздела выделите подразделы. Цель: при любом запросе модель должна видеть не все девяносто описаний, а около двадцати.

2. Постройте роутер перед основным вызовом модели. Роутер (предварительный классификатор) по тексту запроса определяет раздел и подраздел, затем передаёт модели только инструменты из этого подраздела. О существовании остальных инструментов модель на этом шаге не знает.

3. Соберите корпус реальных запросов. Минимум 49 задач, которые покрывают разные разделы. Каждый запрос должен иметь эталонный правильный инструмент. Решите заранее: считается ли уточняющий вопрос модели («какой ключ проекта?») допустимым ответом или провалом. Это влияет на итоговый счёт.

4. Прогоните корпус дважды в одинаковых условиях. Первый прогон: модель видит только узкий набор (около двадцати инструментов). Второй прогон: модель видит полный список (все девяносто с лишним). Замеряйте три метрики: точность выбора, размер контекста (в токенах, единицах текста, которыми модель измеряет входные данные), время прогона.

5. Разберите каждый провал вручную. Не смотрите на общий процент, ищите паттерн. По данным автора источника, все четыре ошибки локальной модели на полном наборе пришлись на инструменты с похожими названиями: «объедини датасеты» уходило в «управление датасетами», «построй график» и «переименуй колонки» попадали в «анализ датасета».

6. Настройте режим роутинга отдельно для каждой модели. Привяжите профиль роутинга к модели, а не к системе. Переключение модели в админке должно автоматически переключать и режим отбора инструментов.

7. Проверьте, совпадает ли путь замера с путём продукта. Убедитесь, что тестовый корпус проходит ту же цепочку, что и реальный пользовательский запрос. Иначе вы точно и воспроизводимо меряете не то.

Что с этого прямо сейчас, по ролям?

Автору Дзена и копирайтеру. Если вы используете языковые модели с инструментами для генерации контента (поиск источников, создание таблиц, работа с документами), сужение набора инструментов может убрать «галлюцинации» (ситуации, когда модель уверенно выдумывает то, чего нет) при выборе действия. Попробуйте группировать свои промпты (текстовые инструкции для модели) по типу задачи и давать модели только релевантный набор.

Маркетологу. Языковые модели с инструментами для автоматизации рассылок, аналитики, работы с CRM экономят время, но на слабом железе ошибки выбора инструмента съедают выигрыш. Узкий набор, по данным автора, сокращает контекст в 2,7 раза и ускоряет прогон на треть. Для внутренних задач на локальном сервере это разница между «работает» и «зависает».

Предпринимателю в РФ. Закрытый контур (данные не уходят в облако) на RTX 3090 с Qwen 27B реален. Из российских облачных аналогов автор тестировал GigaChat-2-Max от Сбера, и на узком наборе модель отработала без ошибок (если считать уточняющие вопросы допустимым поведением). Для тех, кому критична локальность данных, это рабочая конфигурация.

Главное, что остаётся после этого разбора: режим роутинга привязывайте к модели, а не к платформе, и прогоняйте полный корпус, прежде чем менять архитектуру. Для всех трёх моделей, измеренных автором на полном корпусе, узкий набор победил. Но правило «сильной модели нужен широкий набор» пока не опровергнуто, оно просто ждёт честного замера на фронтирной модели с полным прогоном.