Как улучшить качество нейросети: Атом нашёл тройку и ниже у 45% ИИ-отчётов

Первым ИИ-продуктом команды стал Транскрибатор. Им пользовались около десяти UX-исследователей, то есть специалистов, которые изучают поведение пользователей, и проблемы с ними обсуждали напрямую. Когда сервис открыли для других сотрудников, оказалось, что команда не знает простых вещей: есть ли польза, растёт ли аудитория, возвращаются ли люди. Этот путь в своём материале описали Юлия Ефимова и Майя Азарова из продуктовой части AI LAB.

Денег в этой истории нет. Это рассказ о внутренней работе, а не об инвестициях, поэтому таблица сделки заполнена честно.

Что произошло в AI LAB Атома?

Команда ведёт четыре внутренних ИИ-сервиса:

• Транскрибатор (Transcriber). Делает транскрипт, то есть текстовую расшифровку записи встречи. Кроме того, он готовит ИИ-отчёт (сводку встречи) и отвечает в чате по её материалам.
• Atom Intelligence. ИИ-чат для всей компании с доступом к внутренним источникам данных и корпоративной базе знаний.
• DDM. Следит за задачами в Jira (системе учёта рабочих задач), собирает дашборды и отчёты по настройкам пользователя и напоминает о срочном.
• TAR. Проверяет программный код и пишет тесты в GitLab, сервисе для совместной работы над кодом. Запускается короткими командами в запросе на слияние изменений.

Метрики сначала обкатали на Транскрибаторе, а потом свели в общий каркас для всех сервисов. Первым шагом стала вкладка в админке, панели управления сервисом. В ней хранился список посетителей: почта, дата первого визита и отметка, сделал ли человек хоть одно действие.

Список сразу показал закономерность: каждая публикация в рабочем канале приводила от 10 до 20 человек в течение часа. Но что было дальше, он не показывал. Человек мог закрыть вкладку, а мог загрузить файл и забрать транскрипт.

Параллельно команда собирала отзывы прямо в продукте тремя способами:

• лайки и дизлайки на ответы чата с указанием категории проблемы;
• комментарии в свободной форме;
• оценки по пятибалльной шкале, отдельно для ИИ-отчёта, транскрипта и чата.

Полезнее всего оказались свободные комментарии вроде «неверное распределение спикеров» или «ошибка распознавания слова ACC». Их сразу превращали в доработки.

Первые метрики считали за день, месяц, год и любой период: посетители, активные и новые пользователи, число проектов, загруженных и расшифрованных файлов. Новых пользователей в месяц было 5 в апреле, почти 30 в июне и июле и около 13 в августе. Спад совпал с месяцем без новых функций: команда занималась рефакторингом, то есть переделкой внутреннего устройства программы.

К концу августа хотя бы одно действие в сервисе совершили почти 100 сотрудников.

Почему это важно для рынка?

Главный шаг команды в том, что она договорилась, что считать пользой. Ценностными действиями признали:

• скачивание готового документа;
• получение транскрипта;
• просмотр страницы ИИ-отчёта дольше минуты;
• отзыв о результате;
• ответ чата по материалам встречи.

Визиты короче минуты и всё прочее записали в служебные события.

Затем добавили DAU, WAU и MAU, число уникальных активных пользователей за день, неделю и месяц. К ним прибавилась «липкость» (stickiness), отношение дневной аудитории к месячной. Она показывает, какая часть месячных пользователей заходит в обычный день.

Самая показательная цифра касается глубины использования. Среднее число ценностных действий на активного пользователя выросло примерно с 3,4 в апреле до 6,8 в августе.

Аудитория за тот же период выросла в разы, и при этом глубина использования не размылась, а удвоилась. : Юлия Ефимова и Майя Азарова, продуктовая команда AI LAB компании Атом

Если бы рост держался на любопытстве, среднее упало бы. С 24 августа данные о визитах стали полными. С этой даты доля посетителей, сделавших хотя бы одно действие, держится выше 80%.

«Липкость» в большинстве рабочих дней составляет от 10 до 25%, с пиками до 45% и нулями в выходные. Команда объясняет это так: люди приходят, когда у них прошли встречи, звонки или исследования.

Что это значит для вас?

Автору Дзена. Допустим, вы вбивали в поиск «улучшить качество фото онлайн нейросеть» и перепробовали несколько сервисов. Считайте не число заходов, а сколько обработанных снимков реально попали в публикации. Если улучшить качество фото нейросеть помогает раз в неделю, это нормальная частота для разовой задачи, а не повод бросать инструмент.

Маркетологу. Перенесите разделение на ценностные и служебные события в свои отчёты по ИИ-инструментам. Визит короче минуты пользой не считайте. Смотрите на среднее число полезных действий на человека: если оно растёт вместе с аудиторией, рост настоящий.

Предпринимателю РФ и СНГ. Сервисы Атома сделаны для сотрудников компании, об открытом доступе к ним в материале речи нет. Если внедряете ИИ в команде, начните с простого списка: кто зашёл, что сделал, вернулся ли. Из доступных в РФ нейросетей общего назначения есть YandexGPT и GigaChat, их пользу можно мерить тем же способом.

Заведите на неделю табличку с тремя колонками: зашёл, получил результат, вернулся. Через семь дней станет видно, какая нейросеть работает на вас, а какая только съедает время.