Ошибки искусственного интеллекта важнее рейтингов: Microsoft объяснила, почему тесты врут

Компания не объявляла инвестиционного раунда или сделки. Эпизод подкаста Microsoft Research Podcast посвящён методологии: как системная работа над ошибками искусственного интеллекта формирует подход к оценке моделей, и почему путь к надёжному ИИ лежит через анализ данных и локального контекста, а не через рост параметров.

Что рассказала Невилл о своём пути и подходе к оценке?

Дженнифер Невилл, партнёр-руководитель исследовательского направления в Microsoft Research и профессор информатики и статистики в Университете Пёрдью. За карьеру она опубликовала более 130 научных работ, получивших свыше 10 000 цитирований. Среди наград: грант CAREER от Национального научного фонда США, место в списке IEEE «10 to Watch» в области ИИ и лучшие доклады на конференциях ICDM и ICLR.

Невилл пришла в информатику не по прямой: сначала математика, потом физика, затем когнитивная наука (наука о том, как работает мышление), перерыв в учёбе, работа, и только после этого компьютерные науки. По её словам, если бы кто-то сказал ей раньше, что ИИ объединяет когнитивную науку с математикой и вычислительным мышлением, она сэкономила бы годы.

В исследовательскую работу она попала случайно: это было обязательным проектом в программе для отличников. Первый опыт, статья на воркшопе по статистическому реляционному обучению (метод анализа связанных данных, например, веб-страниц со ссылками друг на друга), затянул настолько, что Невилл отказалась от плана идти в индустрию и поступила в аспирантуру.

Почему «удивительные сбои» моделей важнее, чем итоговый балл?

Центральный тезис подкаста: классические бенчмарки (стандартные наборы тестов для оценки точности модели) не показывают, как ИИ ведёт себя в реальных сценариях с живыми пользователями. Невилл говорит о «surprising failures», то есть о сбоях, которые не предсказать заранее и которые появляются только когда модель сталкивается с данными за пределами привычных условий тестирования.

Для практика это означает простую вещь: высокий балл модели на публичном рейтинге не гарантирует, что она не выдаст галлюцинацию (когда ИИ уверенно выдумывает то, чего не было) на ваших конкретных задачах. Невилл подчёркивает, что без внимательного разбора данных и учёта контекста, в котором модель применяется, результаты будут обманчивыми.

Этот тезис рифмуется с тем, что видят авторы контента на практике: модель отлично пишет общий текст, но путает факты по узкой теме. Ошибки искусственного интеллекта системны, и их нельзя списать на «сырой продукт». Они встроены в логику того, как модели обучены.

Были моменты, когда казалось, что я буксую. Ничего не работало. Я падала духом. А потом мы доходили до точки, где действительно что-то узнавали, и эмоциональный подъём от этого, именно он меня зацепил. Возможность понять что-то, чего ещё не понял никто другой, потому что это прямо на границе того, что мы знаем. : Дженнифер Невилл, партнёр-руководитель исследований Microsoft Research

Что Невилл советует тем, кто работает с ИИ сегодня?

Невилл даёт три практических ориентира, которые полезны не только разработчикам, но и любому, кто использует ИИ в работе с текстом, данными или контентом:

• Смотрите на данные, а не на рейтинг. Когда результат модели противоречит ожиданиям, проблема чаще в данных или в контексте задачи, а не в «плохой нейросети». Разберите конкретный промпт (запрос к модели) и конкретный ответ, прежде чем менять инструмент.
• Тестируйте за пределами типовых сценариев. Стандартный запрос покажет стандартный результат. Ошибки искусственного интеллекта вылезают на нестандартных входных данных: длинные тексты, специфическая терминология, неочевидные связи между фактами.
• Учитывайте локальный контекст. Модель, обученная преимущественно на англоязычных данных, будет хуже работать с российскими реалиями, именами, датами, юридическими терминами. Это не баг, а свойство обучающих данных (данных, на которых модель училась).

Что это значит для вас?

Автору на Дзене. Если ИИ-помощник выдаёт странный текст по вашей теме, не спешите списывать инструмент. Попробуйте переформулировать промпт, добавив контекст и конкретные примеры. Невилл фактически описывает то, что авторы называют «капризами нейросети»: модель не капризничает, она реагирует на то, что получила на входе.

Маркетологу. Прежде чем масштабировать генерацию контента через ИИ, проведите ручной аудит на 20-30 нетиповых запросах. Именно там обнаружатся ошибки, которые рейтинги моделей не покажут.

Разработчику и предпринимателю в РФ. Рекомендации Невилл про локальный контекст особенно актуальны для русскоязычных проектов. Из доступных в России инструментов, YandexGPT и GigaChat, оба обучены с учётом русского языка, но и у них «удивительные сбои» никуда не деваются. Тестируйте на своих данных, а не на демо-примерах.

Если из этого подкаста и стоит вынести одну мысль, то вот она: десятилетия прогресса в ИИ научили Невилл не предсказывать следующий прорыв, а внимательнее смотреть на провалы, потому что именно в них прячется понимание того, как система работает на самом деле.