Microsoft Research: ИИ-агенты буксуют в чужом коде, ForkPilot срезает до 59% вычислений

Research Focus раньше выходил как рассылка в LinkedIn. Теперь Microsoft Research дублирует его в видео и аудио, ведущая выпуска Сoubhagya Suresh. В выпуске семь тем: от ИИ-агентов, которые сами учатся на ошибках, до прогноза погоды на несколько недель вперёд и модели для изучения белков.

ИИ-агент здесь означает программу на основе нейросети, которая не просто отвечает в чате, а сама выполняет цепочку действий: открывает файлы, запускает инструменты, принимает решения по ходу работы. Почти все работы выпуска посвящены именно таким агентам.

Что и как измеряли исследователи Microsoft?

Бенчмарк, это стандартный набор задач, на котором сравнивают нейросети, как экзаменационный билет для всех участников. ForkPilot проверили на шести таких наборах и на ведущих моделях. Система решает, когда стоит вернуться к раннему решению и попробовать другой путь, и подстраивает стратегию по результатам.

CABRA устроена иначе: она с нуля генерирует задачи по программированию и постепенно их усложняет. Так видно, на каком именно навыке агент ломается, чего обычные бенчмарки, по словам авторов, часто не показывают.

TeleTune учится на логах активности, то есть на записях того, куда человек кликал и что вводил. Проблема таких записей в том, что в них нет цели действия и задачи перемешаны. TeleTune сам восстанавливает, ради чего выполнялась цепочка шагов, и превращает её в навык для агента.

Четвёртая работа изучила Copilot Chat, чат-ассистента Microsoft для офисной работы. Исследователи взяли сводную статистику по широкому кругу категорий клиентов, без разбора отдельных пользователей.

Что обнаружили исследователи?

• ForkPilot показал результат на уровне лучших существующих методов и снизил вычислительную нагрузку до 59%, а значит, агент обходится дешевле при массовом запуске.
• В тысячах задач CABRA агенты часто справлялись с помощью инструментов, но буксовали, когда нужно было разобраться в незнакомой кодовой базе (всём коде проекта целиком).
• TeleTune обошёл существующие подходы в задачах с программами и браузером. Конкретных цифр превосходства в выпуске нет.
• В Copilot Chat редактирование документов заняло первое место среди всех сценариев, более 20%.
• Когда исследователи убрали 20 самых частых сценариев, различия между категориями клиентов стали заметно сильнее.

По остальным трём темам в выпуске есть только анонсы. Shiksha Copilot помогает учителям в школах с ограниченными ресурсами готовить и адаптировать планы уроков. Новый фреймворк улучшает прогноз погоды на несколько недель вперёд, а модель BioEmu2 для изучения белков открыта в публичном предварительном доступе.

Что это значит для вас?

Самый практичный для нашей аудитории вывод взят из работы про Copilot Chat. Люди чаще всего доверяют ИИ правку текста, а самое ценное прячется в нишевых задачах.

Автору Дзена: не ограничивайтесь вычиткой и переписыванием. Попробуйте отдать нейросети узкую работу своей ниши, например сравнение источников, сбор вопросов читателей из комментариев или план серии статей.

Маркетологу: не копируйте чужие кейсы применения ИИ один в один. Исследование прямо советует не считать, что потребности у вас такие же, как у соседей по отрасли.

Предпринимателю в РФ и СНГ: если зарубежные ассистенты недоступны или неудобны, ту же логику можно применить к доступным инструментам. Из российских аналогов есть YandexGPT и GigaChat. Начните с выписки трёх задач, которые есть только в вашем бизнесе, и проверьте их первыми.

Тем, кто заказывает разработку с помощью ИИ: работа CABRA подсказывает, где ждать сбоев. Агент неплохо правит код, но плохо понимает большой чужой проект, поэтому готовьте для него описание структуры и ставьте задачи мелкими кусками.

Проверьте на этой неделе, на что вы тратите нейросеть: если это только правка текстов, вы пользуетесь самой массовой и наименее отличающей вас функцией.

По данным Microsoft Research Focus