Nvidia довела модель с 30% до 100% на бенчмарке, сменив только инфраструктуру для нейросетей

Nvidia в пятницу опубликовала исследование, которое показало: для долгосрочных задач ИИ-агентов решающую роль играет не сама модель, а её инфраструктура для нейросетей, система управления памятью, контекстом и надзором вокруг модели.

Результаты Nvidia подтверждают тренд, который набирает силу: выбор модели (Claude, GPT или другой) важен, но куда сильнее на результат влияет инфраструктура для нейросетей, то есть «харнесс» (harness, обвязка, набор инструментов вокруг модели, который управляет её памятью, обратной связью и контекстом). Исследование опубликовано как открытая работа Nvidia, а комментарии вице-президента по продукту Аделя Эль-Халлака приводит TechCrunch.

Что измеряли?

Исследователи Nvidia взяли бенчмарк ARC-AGI-3, набор двумерных игр-головоломок без инструкций. Модель должна сама понять правила и выиграть. 100% означает, что модель справляется с головоломками на уровне человека.

Такие задачи называют «долгосрочными» (long-horizon tasks): это не разовый ответ на промпт, а цепочка решений, иногда растянутая на дни. Именно на таких задачах модели чаще всего «теряют нить», отвлекаются, начинают выдумывать или идти по кругу.

Ключевой приём: исследователи создали собственную обвязку под названием AVO (Agentic Variation Operators). Она включала два компонента, которых обычно нет у стандартных инструментов вроде Claude Code или Codex:

• Управление памятью и контекстом. Обвязка следила за тем, какую информацию модель «помнит», и вовремя подавала нужный контекст.
• Агент-надзиратель (supervisor). Отдельный ИИ-агент, который действовал как руководитель: если основная модель застревала, шла по кругу или уходила в тупик, надзиратель «подталкивал» её в нужном направлении.

«Он почти как CEO: подталкивает агента, когда тот отклоняется, начинает исследовать тупиковый путь или возвращается к тому, что уже пробовал» : Адель Эль-Халлак, вице-президент по продукту подразделения ИИ Nvidia, TechCrunch

Что обнаружили?

• Без обвязки модель проваливается. Claude Opus 5, лучшая из протестированных моделей, без обвязки набрала 30% на ARC-AGI-3. С обвязкой AVO тот же Opus 5 показал 100%.
• OpenAI подтвердила эффект независимо. Модели OpenAI на том же бенчмарке показывали менее 10%. После настройки всего двух параметров обвязки результаты выросли втрое, по данным собственного исследования OpenAI, опубликованного месяцем ранее. Но ни одна модель OpenAI не приблизилась к 100%.
• Обвязка влияет не только на точность, но и на стоимость. По данным Databricks, одна и та же модель с разными обвязками может стоить вдвое дороже. Как сказал CEO Databricks Али Годси в интервью TechCrunch: «Вы думаете: вот дорогая модель, вот дешёвая. Но подождите, какую обвязку вы используете? Одна обвязка сама по себе может удвоить ваши расходы».
• Надзиратель оказался решающим элементом. Именно компонент «supervisor» вытянул результат до 100%. Большинство пользователей ИИ-агентов сегодня работают с одним слоем обвязки (Claude Code, Codex, Hermes). Исследователи Nvidia показали, что этого мало для сложных задач.

Важная деталь: AVO не является новым продуктом Nvidia. Компания выпускает открытые компоненты для построения обвязок под брендом Nemo, часть из них коммерческая, многое доступно бесплатно.

Что это значит для вас?

Авторам Дзена и копирайтерам. Если вы используете Claude, GPT или другую модель для написания текстов и замечаете, что на длинных задачах (серия статей, план контента на месяц, редактирование большого документа) модель «плывёт», проблема, скорее всего, не в модели. Попробуйте разбивать задачу на этапы, сохранять промежуточные результаты и возвращать модели контекст вручную. Это ручной аналог того, что делает обвязка.

Маркетологам. Прежде чем переплачивать за подписку на «лучшую» модель, проверьте, как организован процесс вокруг неё. Системный промпт (system prompt, постоянная инструкция, которую модель получает перед каждым диалогом), разбивка задачи на шаги и контроль промежуточных результатов дают больший прирост качества, чем смена модели.

Предпринимателям в РФ и СНГ. Исследование Nvidia прямо говорит: инфраструктура для нейросетей важнее выбора конкретной модели. Это хорошая новость. Даже если доступ к Claude Opus 5 или GPT ограничен из-за санкций, вы можете строить качественную обвязку вокруг доступных решений. Из доступных в РФ аналогов: YandexGPT и GigaChat. Компоненты Nvidia Nemo открыты, их можно развернуть локально. Добавление агента-надзирателя и грамотное управление памятью модели по результатам этого исследования дали прирост с 30% до 100%, а это работа над обвязкой, а не над самой моделью.

Перестаньте искать «лучшую модель» и начните строить обвязку: системный промпт, разбивку на шаги, контроль промежуточного результата и, если задача сложная, второго агента-надзирателя, который вернёт первого на рельсы.

По данным TechCrunch