Microsoft Copilot проверяют на трёх выдуманных компаниях, не трогая данные клиентов

Раньше корпоративный ИИ проверяли на небольших наборах примеров, которые собирали вручную. Теперь, по данным блога Microsoft, компания строит полноценные цифровые копии организаций со своими сотрудниками, встречами и перепиской. Задача: проверять Microsoft 365 Copilot на сложных рабочих сценариях, не трогая ни одного документа реальных клиентов.

Формально это не инвестиционная сделка, а отчёт о внутренней разработке, поэтому финансовых данных в публикации нет.

Что произошло?

Microsoft описала систему Industry Evaluation Data Generation Platform, платформу для создания проверочных данных под разные отрасли. Компания объясняет проблему так: чтобы честно оценить ассистента, нужны данные со всей сложностью настоящей фирмы. Однако реальные корпоративные данные содержат конфиденциальную информацию, и использовать их для тестов нельзя ни при каких обстоятельствах.

Решение держится на трёх опорах:

• синтетические корпоративные среды, то есть искусственно созданные копии организаций с правдоподобными пользователями, письмами, документами и структурой подчинения;
• автоматическое создание проверочных запросов, чтобы быстро и воспроизводимо собирать наборы тестов;
• рамки контроля качества, чтобы искусственные данные годились для осмысленной проверки.

Каждую такую среду Microsoft называет «тенантом» (tenant), отдельным изолированным рабочим пространством организации со своими пользователями, данными и настройками. Это как макет офиса в натуральную величину, где можно гонять ассистента без риска для настоящих сотрудников.

Чтобы макет выглядел правдоподобно, его собрали на открытых источниках:

• O*NET, база профессий Министерства труда США: из неё взяли роли сотрудников, обязанности и частоту рабочих задач;
• онлайн-вакансии: названия должностей, иерархия и состав отделов;
• отчётность компаний для SEC, Комиссии по ценным бумагам и биржам США: масштаб организации, структура подразделений, финансовый контекст.

Все источники, по словам Microsoft, проверил и одобрил юридический отдел компании. Среды при этом живут во времени: переписка развивается неделями, у встреч есть история, в организации случаются перемены. Это нужно для вопросов вроде «Что команда решила в прошлый четверг?», на которые нельзя честно ответить без хронологии.

Компания собрала три среды:

• фармацевтическую, с регуляторными заявками, обсуждением клинических испытаний и совещаниями по безопасности;
• финансовую, со сделками, перепиской отдела соответствия требованиям и обзорами клиентских портфелей;
• IT-компанию (информационные технологии) с планированием рабочих циклов, разбором кода и подготовкой запуска продукта.

Автоматические проверки безопасности контента очищают сгенерированные данные от вредных материалов и персональной информации.

Почему это важно для рынка?

Обратите внимание на формулировку Microsoft: универсальные бенчмарки (стандартные наборы тестов, по которым сравнивают нейросети) пропускают ошибки, которые всплывают в реальных рабочих процессах. Компания прямо пишет, что синтетические среды нужны, чтобы находить проблемы, невидимые для общих тестов.

Проверяют при этом не одну модель, а связку из нескольких ИИ-систем, которая стоит за Copilot. Пример из блога: ассистент за секунды делает сводку встречи со ссылками на реплики из стенограммы. Вопрос в том, точна ли сводка, полна ли и опирается ли на то, что действительно звучало.

Действительно ли Microsoft Copilot делает то, что нужно пользователям, и можем ли мы это доказать, ни разу не прикоснувшись к их данным? : Команда Microsoft, авторы публикации о платформе

Что это значит для вас?

Автору Дзена: перенимайте сам принцип. Прежде чем доверить нейросети сводки, пересказы интервью или конспекты вебинаров, сделайте свой «макет»: выдуманную встречу или переписку, где вы заранее знаете правильный ответ, и проверьте, не выдумывает ли ассистент лишнего. Это защита от галлюцинаций (когда ИИ уверенно сообщает то, чего не было).

Маркетологу: тестируйте ИИ на своих сценариях, а не на чужих рейтингах. Если ассистент готовит отчёты по кампаниям, дайте ему вымышленную кампанию с известными итогами и сравните результат.

Предпринимателю из России и СНГ: не загружайте в нейросети реальные клиентские базы ради эксперимента. Даже Microsoft отказалась от этого и строит искусственные компании. Из доступных в РФ инструментов для таких проверок подойдут YandexGPT и GigaChat.