В ТулГУ объяснили, что такое ИИ-агент: галлюцинации заложены в саму языковую модель

Пять лет назад, по словам автора, «поговорить с нейросетью» означало написать запрос и получить правдоподобный ответ. Сегодня система сама ищет источники, запускает код, сверяет результат и работает, пока не достигнет цели. Это и есть короткий ответ на вопрос, что такое ИИ-агент.

Тезисы прозвучали на семинаре СМУ РАН (Совет молодых учёных Российской академии наук), где обсуждали архитектуру автономных агентов, их координацию и доверие к результатам. Затем их повторили для студентов технических и ИТ-направлений ТулГУ.

Что разбирали в докладах?

Любая модель работает не со словами, а с токенами (короткими кусочками текста, у каждого свой номер в словаре модели). Для неё текст выглядит как список чисел. Чего нет в словаре, модель не обработает, поэтому применяют токенизаторы BPE и Unigram: они покрывают почти любые тексты, включая программный код и редкие языки.

Дальше модель делает одно действие. По началу фразы она оценивает для каждого токена вероятность оказаться следующим. Автор сравнивает это с автодополнением в смартфоне, только контекст (число токенов, которые модель учитывает одновременно) на порядок богаче.

Следующий токен выбирают несколькими способами:

• Жадный выбор. Берётся самый вероятный токен, результат предсказуем, часто слишком.
• Лучевой поиск (beam search). Модель держит несколько вариантов продолжения и выбирает лучший. Качество выше, но вычисления дороже.
• Сэмплирование. Токен выбирается случайно с учётом вероятностей. Ответы получаются разнообразными, но возможны маловероятные продолжения. По словам автора, на сэмплировании построены современные сервисы.
• Отсечение (top-p, top-k). Маловероятные токены отбрасывают заранее, разнообразие сохраняется, качество растёт.

Разговор об агентах автор начинает с токенов и вероятностей, а не с самих агентов. Подробностей того, как агент устроен внутри, в доступной нам части текста нет: материал доходит до 2023 года и мультимодальных моделей.

Какие выводы сделал докладчик?

• Галлюцинации заложены в устройство модели. Галлюцинация, это когда ИИ уверенно выдаёт ответ, который не соответствует действительности или запросу. Автор называет её «системным свойством вероятностного моделирования», а не ошибкой отдельного сервиса.
• Контекст вырос от единиц до 2 млн токенов. Это, по подсчёту автора, три комплекта по четыре тома «Войны и мира» за один раз. Для сравнения: Т9 в телефоне учитывал 2 или 3 символа.
• Рост размера дал качество, но упёрся в предел. От GPT со 117 млн параметров (внутренних настроек, которые модель подбирает при обучении) до GPT-3 со 175 млрд. GPT-3, по словам автора, первой уверенно писала код, но дальше начались проблемы с данными и вычислительными ресурсами.
• Решили данные, а не размер. Модель дообучили на примерах желаемых ответов, затем на обратной связи пользователей (RLHF, 2022 год). Небольшой объём качественных данных научил её следовать указаниям.
• С 2023 года модели перестали быть только текстовыми. GPT-4, по словам автора, работает не только с текстом, но и с изображениями. Такие модели называют мультимодальными.

Путь к этим выводам автор описывает через рост контекста. Цепь Маркова и модель Шеннона (с 1913 по 1948 год) считали частоты слов, рекуррентные сети LSTM (с 1997 по 2014 год) научились помнить дальние токены. Трансформер (с 2014 по 2017 год) получил механизм внимания, то есть умение выбирать из всего контекста самые важные токены.

Одна неточность в самом тексте: в одном месте контекст LSTM назван «до сотни» токенов, в другом «десятки». На выводы она не влияет.

Что это значит для вас?

Автору Дзена. Раз галлюцинации заложены в устройство модели, любой текст из нейросети считайте черновиком. Проверяйте каждое имя, число и дату. Длинный контекст используйте по делу: загружайте в модель свои прошлые статьи и исходные материалы целиком, а не пересказывайте их в промпте.

Маркетологу. Агентный подход переносит проверку внутрь системы: агент ищет источники и сверяет результат сам. Ответственность за итог при этом остаётся на вас, о полной надёжности агентов в докладах речи не шло.

Предпринимателю в РФ и СНГ. Из доступных в России аналогов, YandexGPT и GigaChat. Начните с одной рутинной задачи, где ошибку легко поймать: сводка документов, черновик ответа клиенту, план статьи.

Понять, что такое ИИ-агент, проще всего через одно правило: модель предлагает, агент проверяет, а финальное слово остаётся за вами.

По данным статьи по итогам докладов на семинаре СМУ РАН «Выбор в науке» и в «Научном кафе» ТулГУ