Решу ЕГЭ по обществознанию с ИИ: эксперт отдал итоговый балл коду, а не нейросети

Обычно нейросеть просят прочитать ответ и сразу выставить балл. Автор разбора развивает бота около двух лет и пишет, что модель, которая «в целом понимает обществознание», оценивает такие ответы слишком щедро. Поэтому он разделил работу: модель отвечает на узкие вопросы по тексту ученика, а итоговую оценку собирает код.

Почему ИИ так трудно проверять вторую часть?

В ЕГЭ по обществознанию две части. Задания с 1 по 16 требуют короткого ответа, их проверяет машина. В заданиях с 17 по 25 ученик пишет развёрнутый текст, и его оценивают два независимых эксперта по критериям ФИПИ (Федерального института педагогических измерений, который составляет правила оценки ЕГЭ). Если баллы экспертов сильно расходятся, работу смотрит третий.

Критерии очень формальные. В задании 19 пример должен быть конкретным: фраза «полиция охраняет порядок» описывает функцию, а не пример, и за неё ставят 0. Если задание требует пример «про Россию», случай про «государство Z» не засчитывают. План в задании 24 без трёх обязательных пунктов из эталона получает 0 баллов целиком, даже если остальное в нём верно.

Что нового в подходе к проверке?

• Первичный балл ставит модель, но дальше его можно только понизить. Каждая проверка после неё работает в одну сторону.
• Нет общего промпта на всю вторую часть. Промпт здесь означает текстовое задание для нейросети. У каждого задания свой модуль: обработчик, проверяющий блок и описание правил.
• Модель заполняет анкету, а не пишет вывод. Вместо «ставлю 2 балла, потому что…» она заполняет JSON-схему (анкету с заранее заданными полями), и каждое поле потом проверяет код.
• Одно исключение. В задании 20 код может поднять балл: модель стабильно обнуляла ответ там, где по правилу снимается один балл.
• Сложность уходит в код, а не в промпт. Задание 17 укладывается в 942 строки кода, задания 24 и 25 занимают от 6,8 до 7,2 тысячи строк каждое.

Последний пункт я бы выделил особо. Чем строже критерий, тем больше страховки вокруг модели, а промпт при этом длиннее не становится.

Один флажок ловит главную ошибку модели

Самое полезное поле в анкете для задания 19 автор называет illustrates_thesis, по сути ответ на вопрос «иллюстрирует ли пример то, о чём спрашивали». Модель часто засчитывает пример конкретный и верный, но не по теме: например, про выборы, когда просили пример источника информации о правовой системе. Код ограничивает балл числом примеров, где модель явно ответила «да».

Для задания 19 есть и вторая проверка, только на понижение. Первая её версия запускалась на всех заданиях и снимала баллы там, где по условию действует гражданин или семья, а не государственный орган. Теперь она включается только по явным словам в задании, например «правоохранительный» или «контрольно-надзорный».

Отклоняет пример тоже код, и только при двух совпавших тревожных сигналах из четырёх. В комментарии к коду автор объясняет логику: лучше пропустить перепроверку и немного завысить балл, чем ошибочно снять два.

Как попробовать схему «размечает, считает» у себя?

Ссылку на бота автор в доступной части разбора не приводит, поэтому шаги относятся к самой схеме:

1. Разбейте свой критерий оценки на вопросы с ответом «да» или «нет»: «есть конкретный пример?», «пример по теме?».
2. Попросите нейросеть ответить строго по этим полям, без итоговой оценки.
3. Итог считайте сами или таблицей: сколько «да», столько баллов.
4. Если сомневаетесь в отдельном пункте, перепроверяйте его вторым запросом, который может только снизить оценку.

Из доступных в РФ нейросетей можно взять YandexGPT и GigaChat. Схема не привязана к конкретной модели: какой моделью пользуется бот, автор в этой части не уточняет.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Проверяйте свои черновики не просьбой «оцени текст», а списком вопросов: «есть ли факт в каждом абзаце?», «есть ли пример по теме?». Так нейросеть меньше льстит.

Маркетологу. Оценку объявлений и отзывов стройте так же: модель отмечает признаки, таблица считает. Результат проще объяснить и повторить.

Предпринимателю и репетитору. Тем, кто готовит учеников по подборкам вроде «решу ЕГЭ обществознание 2025», такой подход подсказывает, как устроить самопроверку второй части. Но баллы ИИ стоит сверять с живым экспертом.

Частые вопросы

Может ли бот заменить эксперта ЕГЭ?

Автор такого не утверждает. Данных о точности в первой части разбора нет, а на экзамене работу по-прежнему оценивают люди по критериям ФИПИ.

Зачем коду проверять модель, если она умная?

Модель «в целом понимает» предмет и поэтому засчитывает лишнее: функции вместо примеров, примеры не по теме. Код применяет формальные правила без поблажек.

С чего начать, если я не программист?

С таблицы. Пусть нейросеть ставит «да» или «нет» по каждому вашему вопросу, а сумму вы считаете сами. Модель размечает, вы считаете: так оценку ставите вы, а не нейросеть.