Скрытое слово в экзамене выявило 32 из 35: как ChatGPT подставил студентов

Преподаватель истории задал на промежуточном экзамене сравнить промышленную революцию с цифровой эпохой. Задание выглядело стандартно, но содержало скрытую проверку, которую сейчас обсуждают преподаватели по всему миру. Ниже разбираем метод по шагам, чтобы вы могли повторить его или, наоборот, понять, почему слепо копировать ответ нейросети опасно.

Что понадобится

• Текстовый редактор с возможностью менять цвет шрифта (Word, Google Docs или любой аналог)
• Задание для студентов в виде документа или веб-страницы, где текст копируется целиком
• 10 минут на подготовку ловушки
• Доступ к ChatGPT или другой языковой модели, чтобы заранее проверить, как она отреагирует на скрытое слово

Как повторить приём: пошаговая инструкция

1. Напишите обычное задание. Тема должна быть конкретной и проверяемой. В оригинальном эксперименте это было эссе-сравнение двух эпох.

2. Выберите слово-маркер, которое не имеет отношения к теме. Профессор использовал слово Madagascar. Подойдёт любое существительное, абсурдное в контексте задания: название страны, животного, предмета.

3. Вставьте маркер в текст задания белым шрифтом на белом фоне. В Google Docs или Word выделите слово и сделайте цвет шрифта совпадающим с фоном. Человек, читающий задание глазами, слово не увидит. Но при копировании всего текста (Ctrl+A, Ctrl+C) скрытое слово попадёт в буфер обмена.

4. Проверьте ловушку на себе. Скопируйте весь текст задания и вставьте в ChatGPT. Убедитесь, что модель пытается использовать маркер в ответе.

5. Раздайте задание студентам. Формат, который легко скопировать целиком (документ, страница LMS), работает лучше всего.

6. При проверке ищите маркер или бессмысленные фразы. Модель не всегда вставляет слово буквально. Иногда она генерирует абсурдные предложения, пытаясь «пристроить» чужеродное слово к контексту.

Madagascar floats sideways through the afternoon

Madagascar purple bicycle whispers to the ceiling

Почему ChatGPT студентам не помог, а подставил?

Проблема, которую вскрыл эксперимент, глубже, чем списывание. Ещё несколько лет назад студент, копирующий текст из «Википедии», хотя бы бегло его просматривал. Сейчас многие воспринимают ответ нейросети как готовый результат: нажал кнопку, скопировал, отправил.

Галлюцинация (когда модель уверенно выдумывает то, чего не было) в данном случае была спровоцирована намеренно. Но и без ловушки ChatGPT регулярно генерирует фактические ошибки, ложные цитаты и несуществующие источники. Студент, который не проверяет выход модели, рискует сдать текст с выдуманными данными даже без всякого скрытого слова.

Метод скоро перестанет работать?

Критики эксперимента отмечают: современные языковые модели уже учатся распознавать промпт-инъекции (prompt injection, скрытые инструкции, встроенные в текст) и могут предупреждать пользователя или игнорировать их. Это значит, что конкретный трюк с белым текстом имеет ограниченный срок годности.

Но суть приёма не в ловушке, а в том, что он проверяет. Если студент прочитал свою работу перед сдачей, фраза про «фиолетовый велосипед, шепчущий потолку» не дойдёт до преподавателя, независимо от того, использовался ИИ или нет.

Что делать с этим прямо сейчас, по ролям

Преподавателю. Метод можно повторить за десять минут. Он не требует специальных сервисов, антиплагиатных систем и подписок. Работает как проверка не столько на ИИ, сколько на внимательность.

Автору Дзена или копирайтеру. История, отличный пример для статьи о том, как ChatGPT студентам одновременно помогает и вредит. Тема вирусная, хорошо собирает вовлечение. Но главный урок для вас лично: всегда перечитывайте то, что сгенерировала нейросети, перед публикацией.

Предпринимателю, который внедряет ИИ в команде. Если сотрудники используют ChatGPT для отчётов или писем, проверяйте выход. Бессмысленные фразы в клиентском письме обойдутся дороже, чем в студенческом эссе.

Если вы автор или преподаватель, попробуйте этот приём не ради наказания, а ради честного разговора: насколько внимательно вы сами перечитываете то, что выдаёт вам нейросеть, перед тем как нажать «отправить».