Microsoft Research тестирует ИИ-репетитора на виртуальных учениках: живые эксперименты больше не нужны

Исследователи из Microsoft Research представили StudentSim, систему, которая создаёт персонализированные симуляторы отдельных учеников на основе их обезличенных учебных записей. Работа не является продуктом, не развёрнута в школах и не претендует на замену учителей. Цель чисто инженерная: дать разработчикам обучающих нейросетей быстрый и воспроизводимый способ проверять, помогает ли подсказка репетитора или нет.

Вместе с системой опубликован StudentSimEval, открытый набор тестов и протокол оценки по трём предметам: шахматы, письмо на английском как втором языке и математика.

Что именно измеряли?

Авторы выделили две оси оценки, обе взяты из педагогической теории.

Точность поведения (behavioral fidelity). Симулятор получает задачу, которую настоящий ученик уже решал, и должен ответить так, как ответил бы именно этот ученик, с его типичными ошибками и сильными сторонами. Проверка идёт на записях, которые симулятор при обучении не видел.

Реакция на подсказку (guidance responsiveness). После того как виртуальный репетитор даёт подсказку, симулятор должен обновить ответ. Если ученик в реальности исправлял ошибку после похожей подсказки, симулятор тоже должен исправить. Если ученик обычно игнорировал подсказки определённого типа, симулятор должен это воспроизвести.

Два измерения работают в паре. Симулятор, который просто копирует прошлые ответы, не покажет, помогла ли подсказка. Симулятор, который всегда слушается репетитора, не отразит реальные трудности конкретного ученика. Для обучения ИИ репетитора нужны оба сигнала: стартовый уровень и то, как подсказка меняет результат.

Почему нельзя просто попросить GPT «сыграть школьника»?

Самый простой путь, дать большой языковой модели промпт вроде «ты ученик пятого класса, который плохо считает». Модель действительно поменяет тон и начнёт выражать неуверенность. Проблема в другом: за «детским» голосом модель продолжает опираться на знания и логику, которые далеко выходят за реальный уровень ученика.

Для разработчика ИИ репетитора это ловушка. Репетитор получает завышенную обратную связь: кажется, что подсказка сработала, а на деле «ученик» справился сам, потому что это GPT-4 в маске пятиклассника.

Классические модели отслеживания знаний (knowledge tracing) решают обратную задачу: они точно предсказывают, что ученик знает, но не умеют принимать на вход текстовую подсказку репетитора и показывать, как ответ изменится.

StudentSim сочетает оба подхода. На первом этапе модель обучается на записях множества учеников одного предмета и усваивает типичные форматы ответов, частые ошибки и способы реагировать на подсказки. На втором этапе модель дообучается (fine-tuning) на записях одного конкретного ученика, превращаясь в его персональный симулятор.

Что обнаружили?

• StudentSim точнее базовых методов по обоим измерениям во всех трёх предметах. Система лучше воспроизводит ответы конкретного ученика и лучше реагирует на подсказки репетитора, чем промпт-ролевая игра и классические модели.
• Двухэтапное обучение справляется с малым объёмом данных. Реальные записи одного ученика часто ограничены несколькими эссе или десятками решённых задач. Первый этап на общих данных компенсирует нехватку, второй этап персонализирует модель.
• Сигнал симулятора полезен для обучения ИИ репетитора. Когда репетитор тренируется на обратной связи от StudentSim, качество его подсказок растёт, а значит, цикл «подсказка, реакция, улучшение» можно запускать без живых участников.
• Все данные обезличены. Система использует только публичные наборы учебных записей, выпущенные для исследовательских целей. Никакая персональная информация не задействована ни на одном этапе.

Что это даёт вам прямо сейчас?

Авторам Дзена и копирайтерам. Если вы пишете обучающий контент или курсы, идея StudentSim подсказывает полезный приём: прежде чем выпускать урок, «проиграйте» его на нескольких портретах читателей с разным уровнем подготовки. Языковую модель можно попросить не просто «стать новичком», а дать ей конкретные примеры ошибок и пробелов. Это ближе к тому, как работает двухэтапная схема StudentSim, и честнее, чем абстрактная ролевая игра.

Тем, кто ищет ИИ репетитор английского языка бесплатно. StudentSim сам по себе не является репетитором и недоступен как сервис. Но исследование показывает направление: будущие бесплатные ИИ репетиторы смогут адаптироваться к вашим конкретным ошибкам, а не выдавать одинаковые подсказки всем. Пока этого нет, ближайшие доступные инструменты в РФ для практики языка с нейросетью: YandexGPT и GigaChat. Оба позволяют вести диалог на английском, но ни один пока не строит вашу персональную модель ошибок.

Предпринимателям в EdTech. Если вы разрабатываете обучающий продукт, протокол StudentSimEval, это готовая методика: две оси оценки (точность поведения и реакция на подсказку) можно адаптировать для тестирования собственного репетитора без сбора живых данных на ранних этапах.

Исследование показывает конкретный следующий шаг для всех, кто строит обучающие нейросети: не спрашивайте «насколько хорош ответ репетитора», спрашивайте «что сделал ученик после подсказки», и проверяйте это до запуска, а не после.

По данным Microsoft Research