Нейросеть для исправления ошибок в тексте не гарантирует верного смысла: 7 проверок ответов ИИ

Если вы подбираете нейросеть для исправления ошибок в тексте, помните главный вывод разбора о корпоративных ИИ-ассистентах: безупречная формулировка не гарантирует верного смысла. Разбор посвящён ассистентам, которые отвечают по внутренней базе знаний компании, в качестве примера в нём описан сервис TEAMLY AI. Ниже инструкция, как проверять такие ответы и как учить этому коллег.

Почему уверенному ответу ИИ так хочется верить?

Чем чаще нейросеть отвечает правильно, тем меньше поводов сомневаться, и проверка постепенно становится необязательной. В психологии это называют предвзятостью автоматизации (automation bias), то есть склонностью чрезмерно доверять алгоритмам.

В разборе названы четыре причины:

• убедительная подача: профессиональные термины и ответ по пунктам выглядят как инструкция опытного специалиста;
• экономия времени: к ИИ обращаются, чтобы не искать самому, поэтому перепроверять не хочется, особенно в спешке;
• привычка: постоянного помощника перестают воспринимать как систему, которая тоже ошибается;
• недостаток опыта: новичок может не знать об исключениях и свежих изменениях регламента.

Исследователи Microsoft Research и Университета Карнеги-Меллона опросили 319 специалистов, которые используют генеративный ИИ в работе, и разобрали 936 примеров его применения. Чем выше люди оценивали надёжность ИИ, тем меньше усилий, по их словам, они тратили на критическую оценку ответов. Те, кто уверен в своих профессиональных знаниях, проверяли информацию чаще.

Честная оговорка: исследование не доказывает, что нейросети делают людей невнимательнее. Оно показывает, как меняется отношение к проверке, когда удобный помощник всегда под рукой.

Что понадобится для проверки?

• ИИ-ассистент, который ссылается на документы-источники;
• доступ к самим документам базы знаний;
• контакт ответственного за нужный регламент;
• несколько минут на сверку перед любым действием, где есть деньги, доступы или клиенты.

Пошаговая инструкция: семь проверок до того, как действовать

Галлюцинации (когда модель уверенно выдумывает документ, правило или факт) заметить проще всего. Опаснее ответы, где факты и ссылки настоящие, а ошибка спрятана в деталях.

1. Дайте ассистенту все обстоятельства. Укажите, кто вы, о какой сумме речь, куда и на какой срок едете. Без этого нейросеть может выбрать самый вероятный вариант и ответить так, будто ей всё известно.
2. Требуйте ссылку на источник и откройте документ. Сама ссылка ничего не подтверждает, пока вы не прочитали нужный пункт.
3. Проверьте, действует ли документ. Если компания сменила порядок возврата товаров, а старая инструкция осталась в базе, ассистент перескажет недействующие правила.
4. Сверьте категорию. Для штатных сотрудников и подрядчиков процедуры оформления доступа могут различаться, и ИИ способен взять инструкцию не для той группы.
5. Ищите сноски, приложения и исключения. Руководитель может сам согласовать закупку до определённой суммы, но для специализированного оборудования действует дополнительное согласование, которое ассистент может не упомянуть.
6. Убедитесь, что правило не склеено из двух случаев. Система иногда берёт одно правило и подтягивает к нему условие из другой ситуации, получается логичная, но неверная инструкция.
7. Решения с деньгами подтверждайте у ответственного. Финотдел, юрист или владелец регламента дают ту самую страховку, которую ассистент дать не может.

Для второго шага удобно держать заготовку промпта:

Ответь только по документам из базы знаний.
К каждому утверждению дай ссылку на документ и пункт.
Перечисли сноски, приложения и исключения, на которые ссылается документ.
Если данных не хватает, задай уточняющий вопрос вместо ответа.

Технология RAG (Retrieval-Augmented Generation, генерация с опорой на поиск: ассистент сначала находит ваши документы, потом отвечает по ним) повышает достоверность, но точности не гарантирует. При двух версиях инструкции в базе система может выбрать устаревшую, а неоднозначный документ истолковать неверно.

В TEAMLY AI ответы строятся на корпоративных материалах с учётом прав доступа. Поиск можно ограничить пространством или статьёй и перейти по ссылке к источнику. Это облегчает проверку, но не отменяет её.

Эксперты OWASP, сообщества специалистов по безопасности приложений, относят недостоверную информацию к существенным рискам программ на основе языковых моделей. Среди факторов, которые усиливают последствия ошибок, они отдельно называют чрезмерное доверие пользователей.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Просите нейросеть поправить текст или подсказать факт? Сверяйте каждое правило, цифру и ссылку с первоисточником: гладкий слог ничего не доказывает.

Маркетологу. Условия акций, возвратов и скидок меняются. Если ассистент работает по старой базе, клиент услышит устаревшие правила, поэтому проверяйте дату документа.

Предпринимателю в РФ и СНГ. Назначьте ответственных за документы, обновляйте регламенты, убирайте недействующие версии и противоречия. Из российских решений в разборе описан TEAMLY AI, а для YandexGPT и GigaChat порядок проверки тот же: источник, дата, исключения.