ИИ-обвязка рабочего места аналитика: 14 бизнес-требований за 8 дней вместо двух недель

Карпов рассказал об этом в материале «Как я построил ИИ-обвязку рабочего места аналитика в IT-компании». До этого он работал с агентами только сам: подключал разные модели, заставлял их проверять друг друга и хранил опыт между сессиями. Теперь ему нужно было передать этот способ работы целому департаменту, чтобы специалисту не приходилось настраивать всё вручную.

Термины по ходу текста. ИИ-агент здесь означает нейросеть, которая сама выполняет цепочку действий по заданным правилам, а не просто отвечает на вопрос. Бизнес-требования описывают, что должен делать продукт: их аналитик готовит для заказчика и разработчиков.

Как агента научили не выдумывать данные?

Пилот назывался «Золотой стандарт», потом его стали называть просто «Канон». Это общий для департамента набор ролей, навыков, инструментов и правил работы агентов, который не зависит от конкретного проекта. Позже к нему добавились владелец канона, выпуск обновлений, поддержка через мессенджеры и несколько уровней памяти.

Задачу решали на бегу. Неделю Карпов работал копайлотом (напарником, который сидит рядом и правит на ходу) и смотрел, где агент спотыкается. По его словам, основное время ушло не на генерацию текста, а на условия доверия к нему.

Одних инструкций не хватило: агент начал выдумывать данные. Такая галлюцинация (когда ИИ уверенно пишет то, чего нет в источниках) прекратилась, когда Карпов снизил температуру до 0,2, а top-p до 0,85. Температура отвечает за степень «фантазии» модели, а top-p за то, насколько широкий круг вариантов слов она перебирает. Ниже значение, суше и предсказуемее ответ.

Деталь, которую легко пропустить: другим специалистам на других задачах хватало температуры 0,6 при том же top-p. Карпов прямо пишет, что главной защитой остаются источники, правила для недостающих данных и проверка результата, а не настройки.

Что понадобится?

• Шаблон документа, по которому агент собирает текст.
• Утверждённые источники данных, в кейсе это обновлённые регуляторные документы.
• Набор ролей и навыков агента, записанный в виде правил.
• Модель с ручной настройкой температуры и top-p. Названия моделей и поставщиков в материале не раскрыты.
• Человек, который принимает каждый документ.
• Место для публикации, у Карпова это Confluence (корпоративная база знаний).

Как собрать канон по шагам?

1. Зафиксируйте шаблон. Агент заполняет готовую структуру и не придумывает её заново.
2. Пропишите, откуда брать данные. Перечислите источники, на которые агенту разрешено опираться.
3. Задайте правило для пробелов. Агент должен находить коллизии (противоречия между источниками) и недостающие данные, а не закрывать их догадками.
4. Подберите параметры генерации под тип задачи. Для документов с жёсткими фактами начните с 0,2 и 0,85.
5. Оставьте приёмку за человеком. Каждое замечание переносите в инструкции, чтобы ошибка не повторилась.
6. Назначьте владельца канона. Он выпускает обновления, а новые сотрудники подключаются к уже обкатанным правилам.

Правило из шага 3 можно записать в промпт (текстовую команду для нейросети), например так. Формулировка моя, в материале её нет:

Используй только данные из приложенных источников.
Если данных не хватает, не заполняй пробел: выпиши,
чего не хватает и в каком разделе. Если источники
противоречат друг другу, укажи оба варианта и место.

Темп она оценила на вебинаре сама:

«четырнадцать штук… за восемь рабочих дней. Не знаю, быстро это не быстро» : Аналитик проекта, имя в материале не названо

К моменту передачи заказчику комплект вырос до 17 документов, каждый прошёл вычитку и публикацию в Confluence.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: заведите один шаблон статьи и список допустимых источников. Отдельной строкой пропишите агенту, что делать, если фактов не хватает. Это дешевле, чем каждый раз ловить выдумки при вычитке.

Маркетологу: экономия здесь в повторном использовании правок, а не в скорости набора текста. Ведите общий файл правил для всей команды, и ошибка одного человека перестанет повторяться у остальных.

Предпринимателю в РФ и СНГ: модели из кейса не названы. Из доступных в РФ аналогов есть YandexGPT и GigaChat. Прежде чем строить процесс, проверьте, можно ли в выбранном интерфейсе вручную менять температуру.

Мой прогноз: выиграют те, кто первым запишет свои правила работы с агентом, а не те, кто найдёт самую сильную модель.