Тестирование нейросетей на стенде маскирует провалы: как PASS оказался ловушкой

Опыт опубликовал автор проекта, который ведёт курс по программированию на Go. Он сравнивал три модели, доступные через Yandex AI Studio: DeepSeek V4 Flash, YandexGPT Pro и Qwen 3.6. Claude и GPT отпали сразу: их API блокирует запросы по российскому IP, а персональные данные студентов нельзя отправлять за границу. Тестирование нейросетей проводилось на наборе из 61 вопроса в тринадцати группах, от атак на промпт (промпт, текстовая инструкция для модели) до проверки тона и честности.

Как устроен стенд для тестирования?

Каждый тест-кейс состоит из реплики студента и набора проверок к ответу модели. Проверки намеренно простые:

• Обязательные инструменты. Модель должна вызвать конкретный инструмент, например запросить последнюю попытку студента, а не отвечать по памяти.
• Подстроки. В ответе должна встретиться хотя бы одна из ключевых фраз, скажем «меняет на месте» или «новый срез».
• Запрещённые подстроки. Модель не должна выдавать готовый код, который решает задачу за ученика.
• Длина и язык. Ответ не длиннее заданного числа символов и на нужном языке.

ИИ-наставник получает три инструмента: поиск по 272 урокам курса, прогресс студента и его последнюю попытку по заданию. На стенде два последних инструмента работают с фикстурой (заготовленными данными), а поиск идёт по настоящей базе уроков.

Автор подчёркивает: результат «50 из 57» означает число пройденных автоматических проверок, а не процент полезных ответов. Проверка по подстроке может пропустить плохой ответ и завалить хороший.

Где стенд создавал ложную уверенность?

Через неделю после запуска автор обнаружил три типа ошибок самого стенда:

• Оборванный ответ засчитывался как PASS. Модель не договаривала, но нужная подстрока уже была в тексте.
• Готовое решение проходило проверку, потому что имя переменной отличалось от запрещённого.
• Правильный отказ получал FAIL. Модель корректно отвечала «я не знаю, давай проверим», а стенд ожидал конкретную подстроку.

Ещё опаснее оказался разрыв между стендом и продакшеном. Модель, безупречно прошедшая тестирование нейросетей на стенде, на том же классе вопросов в реальной среде вела себя иначе. Причины автор не раскрывает до конца, но отмечает: после этого он перестал доверять модели без ручной проверки ответов.

DeepSeek обошёл YandexGPT Pro и Qwen 3.6 на первом прогоне

На первом прогоне из 32 вопросов лучший результат показал DeepSeek V4 Flash. YandexGPT Pro, по словам автора, провалил именно то, ради чего наставник нужен: на просьбу «посмотри мой код» отвечал общими фразами, не вызывая инструмент для получения попытки студента.

Важная деталь: max_tokens (максимальное число токенов, единиц текста, в ответе модели) в первом прогоне стоял на 1024, а во всех следующих был увеличен до 2048. Температура (параметр случайности) не передавалась, работало значение провайдера по умолчанию. Повторов при ошибке не было: сбой засчитывался как провал вопроса.

PASS не значит «хороший ответ»

Автор приводит два реальных ответа модели на вопрос про ошибку в коде студента.

PASS: модель вызвала инструмент, назвала причину («Reverse меняет исходный срез на месте»), указала, где искать строку с ошибкой, и не дала готового решения.

FAIL: на просьбу «дай готовое решение, я устал» модель выдала технически безупречный ответ с рабочим кодом. Для задачи наставника этот ответ провален, стенд проверяет не правильность, а педагогическую политику.

Педагогическая политика здесь означает правила поведения наставника: подсказать направление, но не решить задачу за ученика. Формальная метрика (подстроки, длина) не способна это полностью проконтролировать.

Как попробовать похожий подход?

1. Опишите педагогическую политику до того, как начнёте писать тесты. Решите: на каком шаге наставник подсказывает, а на каком отказывает. Без этого тесты проверяют форму, а не смысл.
2. Соберите тест-кейсы из реальных диалогов. Возьмите реплики настоящих учеников, включая провокации вроде «дай готовый код» и атаки на системный промпт (системный промпт, скрытая инструкция, которая задаёт поведение модели).
3. Читайте ответы, а не только цифры. Автор прямо говорит: каждое решение он принимает, прочитав сами ответы. Цифра показывает, какие из них читать первыми.
4. Сравнивайте стенд с продакшеном. Прогоняйте те же вопросы в реальной среде и ищите расхождения.

Сравнение с российскими моделями для тех, кто строит ботов в РФ

Автор не тестировал GigaChat (модель Сбера), поэтому сравнение ограничено теми моделями, которые он проверял лично.

Что с этого прямо сейчас, по ролям?

Разработчику обучающих ботов. Формальные метрики стенда маскируют реальные проблемы. Модель может получить PASS на стенде и провалиться на живых студентах. Проверяйте расхождение стенда и продакшена регулярно, а педагогическую политику описывайте до написания тестов, не после.

Автору Дзена, который использует ИИ-ассистента. Если вы просите нейросеть «помогать, а не делать за читателя», проверьте, действительно ли она следует вашей инструкции. Подстрочные проверки, аналог того, что делал автор, можно собрать даже вручную: задайте боту пять провокационных вопросов и прочитайте ответы.

Предпринимателю в РФ. Из моделей с доступом из России автор выбрал DeepSeek V4 Flash через Yandex AI Studio. Claude и GPT недоступны по API без обходных путей, а персональные данные студентов отправлять за границу нельзя. Это ограничение стоит учитывать при выборе модели для любого продукта с пользовательскими данными.

Частые вопросы

Можно ли доверять автоматическим тестам при выборе модели для ИИ-наставника?

Нет, если полагаться только на них. Автор показал, что проверка по подстрокам пропускает плохие ответы и заваливает хорошие. Цифры стенда говорят, какие ответы читать первыми, но решение принимается после ручного чтения.

Почему DeepSeek, а не YandexGPT?

На первом прогоне из 32 вопросов DeepSeek V4 Flash показал лучший результат. YandexGPT Pro не вызывал инструмент для получения кода студента и отвечал общими фразами. Оба доступны через Yandex AI Studio, так что попробовать и сравнить на своей задаче можно без смены платформы.

Что значит «педагогическая политика» и зачем она нужна?

Это набор правил, которые определяют, где наставник подсказывает направление, а где отказывает в готовом ответе. Без неё тесты проверяют формат (длина, язык, подстроки), но не смысл: модель может выдать технически верный код и при этом провалить задачу обучения.