ИИ-агенты в Box ответят вчетверо быстрее и сэкономят 90% токенов, ждут в Nvidia

Раньше программа-помощник, чтобы ответить на вопрос по документам компании, просматривала их подряд. Новая функция Box Content Retrieval заранее размечает файлы с помощью моделей Nemotron, и агент ищет по этой разметке. Цифры прироста TechCrunch назвала вице-президент Nvidia по программному обеспечению для генеративного ИИ Кари Бриски.

Что нового в Box Content Retrieval?

Сначала коротко о том, что такое ИИ-агент (agent). Это программа, которая сама выполняет задачу по шагам, а не просто отвечает на один вопрос. Например, она находит в архиве договоры и выписывает из них нужные пункты.

Что меняется в Box:

• Поиск по смыслу. Модели Nemotron делают эмбеддинги, то есть переводят смысл текста в набор чисел. Это похоже на библиотечный каталог, где книги разложены по темам, а не по словам в названии.
• Агент получает фрагменты, а не файлы целиком. Система возвращает куски документов, которые точнее всего относятся к запросу.
• Обещанные цифры. Кари Бриски ожидает, что ответы будут приходить в 4 раза быстрее, ошибок станет на 20% меньше, а токенов уйдёт на 90% меньше. Токен здесь означает кусочек текста, за обработку которого платят при работе с моделью.
• Поиск поверх формулировок. Связанные темы находятся даже тогда, когда в документах использованы другие слова или другой язык.

Глава Box Аарон Леви объяснил идею так:

Вместо того чтобы агент вычитывал каждый документ, мы можем возвращать фрагменты, которые точнее всего относятся к запросу пользователя или к задаче, которую выполняет агент. : Аарон Леви, генеральный директор Box

Функция построена на проекте Nvidia Nemotron Embed. Он выпускает модели эмбеддингов с открытыми весами (open weights): такую модель можно скачать и запустить у себя. Эти модели с помощью LLM, то есть больших языковых моделей, заранее обрабатывают данные, чтобы агентам было удобнее с ними работать.

По данным TechCrunch, крупные лаборатории часто обходили такие модели стороной. Июльский релиз Nemotron при этом возглавил рейтинг RTEB, который измеряет качество поиска по документам.

Почему систему Box трудно повторить с нуля?

Сами модели Nemotron бесплатны, но Box опирается на свои давние наработки: метаданные и права доступа. Метаданные, это служебные сведения о файле: автор, дата, тема. Права доступа определяют, кому какой документ можно показывать.

Мы, вероятно, упаковываем пять разных технологий в один простой API. : Аарон Леви, генеральный директор Box

API здесь означает способ, которым одна программа обращается к другой. Главный пример применения Box привела из юриспруденции: юристы смогут быстрее находить нужные пункты договоров и прецеденты.

Как попробовать, если вы клиент Box?

1. Уточните, подключена ли ваша компания к тарифу Enterprise Advance: функция придёт только туда.
2. Дождитесь раскатки в начале следующего года, точную дату Box не назвала.
3. До запуска наведите порядок в метаданных и правах доступа к папкам, именно на них опирается поиск.
4. Если Box у вас нет, присмотритесь к моделям Nemotron Embed: по данным TechCrunch, они доступны свободно.

О доступности Box Content Retrieval в России компания не сообщала. Из доступных в РФ инструментов для работы с текстами можно назвать YandexGPT и GigaChat. Готового решения, сравнимого со связкой Box и Nemotron, источник не описывает.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если у вас большой архив своих статей, держите в голове принцип: агенту выгоднее искать по смыслу, чем по ключевым словам. Начните хотя бы с единых тегов и понятных названий файлов.

Маркетологу. Цена ответа агента зависит от числа токенов. Обещанные 90% экономии показывают, что основные затраты уходят не на модель, а на то, сколько лишнего текста ей скармливают.

Предпринимателю РФ и СНГ. Если вы работаете по 152-ФЗ (закону о персональных данных) и держите данные в закрытом контуре, то есть на своих серверах без выхода наружу, открытые веса Nemotron позволяют запускать модели у себя. Но в одних моделях ценность невелика. Сначала выстройте собственный слой прав доступа и метаданных, иначе агент начнёт показывать сотрудникам документы, которые им видеть не положено.

Что спрашивают про Box и ИИ-агентов?

Можно ли взять Nemotron и сделать то же самое самому?

Модели доступны свободно, но, по словам Леви, Box упаковывает в один API пять технологий, включая права доступа и метаданные. Повторить с нуля такую систему будет сложно.

Подойдёт ли это небольшой компании?

Функция рассчитана на корпоративный тариф Enterprise Advance. Небольшому бизнесу полезнее взять из новости сам принцип: порядок в документах важнее выбора модели.

Чем поиск по смыслу лучше обычного?

Обычный поиск находит совпадения слов. Поиск по эмбеддингам находит близкие по смыслу фрагменты, даже если в тексте другие формулировки или другой язык.

Выигрывать в агентной гонке будет тот, у кого документы размечены и права доступа настроены, а не тот, у кого модель громче. Начните с этого порядка, он окупится при любом агенте.