Нейросеть Gemini сравнялась с живыми репетиторами, но только под надзором людей

Об этом компания рассказала в своём блоге. В британской части Google работала с образовательной платформой Eedi, в итальянской со школьной сетью салезианцев Дона Боско и Папским салезианским университетом в Риме. Главный вывод: нейросеть Gemini полезна там, где учитель остаётся в центре урока.

Что измеряли?

В Великобритании провели рандомизированное контролируемое исследование: учеников случайно разделили на группы, чтобы сравнение было честным. Испытание длилось 10 недель. Когда ученик ошибался в задаче, он получал один из трёх видов помощи:

• готовую подсказку;
• помощь живого репетитора;
• диалог с ИИ-репетитором, который объединял учебные материалы Eedi и Gemini.

Каждый ответ ИИ эксперты проверяли в реальном времени, прежде чем его видел ученик. Учителя следили за прогрессом в классе. Результаты оценивали по трём показателям: обычным заданиям на платформе, промежуточным контрольным и независимым стандартизированным тестам STAR, то есть единым экзаменационным тестам, которые проверяют знания по широкому кругу тем.

В Италии исследование шло целый учебный год. Авторы собирали данные об уроках и самоотчёты учителей о подготовке к занятиям, с Gemini for Education (школьной версией Gemini) и без неё. Смотрели на атмосферу в классе, вовлечённость учеников и самочувствие педагогов.

Что обнаружили?

Результаты британской части:

• Качество педагогических ответов Gemini выросло почти на 25% по сравнению с прошлогодним исследованием, доля ответов, которые эксперты одобрили без правок, поднялась с 76% до 95%.
• На заданиях платформы и промежуточных контрольных ученики с ИИ-репетитором показали результаты, сопоставимые с учениками живых репетиторов.
• Gemini получил от исследователей промпт (текстовую инструкцию для нейросети) с педагогическими правилами и в почти 99% сессий направлял учеников к решению, а не выдавал готовый ответ.
• В более чем 85% диалогов ученики решали задачи сами.
• На тестах STAR прироста не было: с ИИ решали около 14 задач за сессию против 19 с подсказками и за 10 недель охватили меньше тем.

Результаты итальянской части:

• Традиционных лекций у доски стало на 38% меньше, а совместная работа, которую ведут сами ученики, выросла почти втрое.
• Вовлечённость учеников по их собственной оценке поднялась с 77% до 84%.
• Зависимость урока от личной энергии учителя снизилась на 66%.
• Доля уроков, где интерес держала сама структура занятия, выросла с 23,2% до 52,2%.

Заметьте деталь: ИИ не заменял педагога ни в одной из стран. В Британии каждый ответ проверял человек, в Италии Gemini помогал учителю готовить урок, а не вёл его.

Что это значит для вас?

Главный практический урок не про школу, а про промпт. Gemini вёл учеников к решению почти в 99% сессий потому, что получил чёткую педагогическую инструкцию. Поведение нейросети задаёт тот, кто пишет задание.

Автору Дзена: просите нейросеть не писать текст за вас, а задавать вопросы по черновику, искать слабые места в аргументах и предлагать структуру. Так вы растёте как автор, а не превращаетесь в оператора генератора.

Эксперту, репетитору, автору курсов: итальянский опыт показывает, где ИИ экономит силы. Отдайте ему подготовку упражнений, кейсов и групповых заданий, а живое общение оставьте себе.

Предпринимателю в РФ и СНГ: учтите вывод про скорость. Пошаговый разбор с ИИ идёт медленнее простой подсказки, поэтому на обучение сотрудников закладывайте больше времени.

Из доступных в РФ аналогов для таких задач подойдут YandexGPT и GigaChat.

По данным Google