Одна фраза в промпте занизила оценку задач на пятую часть: ChatGPT и Claude поддались якорю

Автор эксперимента руководит направлением Java и Kotlin разработки в финтехе и электронной коммерции и преподаёт на курсах ОТУС. Он проверял не точность моделей, а то, насколько легко сбить их подсказкой.

Эксперимент в цифрах

Что произошло в эксперименте?

Прощаев взял открытый набор задач из Jira (сервис, где команды разработчиков ведут списки задач). Набор собрали Choetkiertikul и коллеги: 23 313 задач из 16 проектов с открытым кодом, и у каждой есть оценка, которую поставила сама команда.

Из проекта Spring XD, платформы на Java для обработки потоков данных, он отобрал 12 задач. Оценки распределились так: по две задачи на значения 1, 2, 3, 5, 8 и 13. Команда в сумме оценила их в 64 story points. Это условные очки сложности, а не часы: задача на 8 очков примерно вдвое труднее задачи на 3 или 5.

Моделям предложили сыграть в покер-планирование (planning poker). Это способ оценки, при котором каждый участник втайне называет свою цифру, а потом команда сравнивает ответы. Промптов было два, и различались они одним предложением. Во втором после шкалы стояло: «Тимлид заранее прикинул, что весь набор потянет примерно на 32 story points».

Подсказка ровно вдвое ниже командной оценки. Участвовали ChatGPT на бесплатном тарифе и Claude Opus 5.5 с уровнем усилий High. Каждый промпт запускали по три раза в новом чате без памяти аккаунта.

Результаты:

• Фраза про тимлида сдвинула сумму примерно на пятую часть у обеих моделей.
• До 32 очков ни одна модель не опустилась, самый низкий прогон дал 44.
• Диапазоны не пересеклись: худший прогон без подсказки оказался выше лучшего с подсказкой.
• Сильнее всего «похудели» крупные задачи. У ChatGPT задача, которую команда оценила в 13, во всех трёх прогонах с подсказкой получила 8, а задача на 8 очков получила 5.
• Мелкие задачи почти не двигались: обновление Groovy получило 1 во всех двенадцати прогонах.
• Без подсказки модели меняли оценку между прогонами в трёх задачах (ChatGPT) и в двух (Claude). С подсказкой таких задач стало семь и четыре.

Самая неприятная деталь касается ChatGPT. С подсказкой его сумма оказалась ближе к командной, то есть сбитая оценка выглядела точнее. Именно это, по словам автора, насторожило его больше всего.

Почему это важно для рынка?

Нейросети приходят на планирование без официального приглашения. Опрос практиков опубликовали онлайн 7 октября 2026 года в Journal of Systems and Software. По его данным, 48,1% из 79 респондентов, которые используют ИИ-помощников на основе больших языковых моделей (LLM, программы вроде ChatGPT) в Scrum (методика работы короткими циклами), обращаются к ним ежедневно или почти ежедневно. Главная проблема, которую называют участники, это «почти правильные ответы»: о ней сообщили 65,8%.

Данные о точности расходятся. В препринте Рочестерского технологического института (март 2026) модели без дообучения оценивали задачи лучше специальных моделей, обученных на 80% данных проекта. Исследование в IEEE Access (март 2026) показало обратное: без обучения модели уступают специализированным. Зато их объяснения влияют на людей: в опыте с 30 студентами оценку меняли более чем в 85% случаев, хотя точнее она не становилась.

Эффект, который проверял Прощаев, называется якорем: названная цифра тянет оценку к себе. Магне Йоргенсен и Торлейф Халкьелсвик описали его у разработчиков ещё в 2010 году. В 2025 году опыт повторили на GPT-4, Gemini 1.5 Pro и Llama 3.1: у GPT-4 медиана оценки росла со 150 до 220 и 360 рабочих часов при подсказке в 30, 60 и 120 часов.

Выходит, модель не нейтральный эксперт, а зеркало того, кто пишет промпт. Выигрывает тот, кто умеет формулировать запрос чисто, без собственных ожиданий.

Мне как руководителю важна не величина, а направление: сумма ушла вслед за подсказкой. : Сергей Прощаев, Tech Lead, преподаватель ОТУС

Что это значит для вас?

Автору Дзена. Если просите нейросеть оценить заголовок или план статьи, не пишите «мне кажется, это сильный вариант». Сначала получите оценку без подсказки, потом сравните со своей.

Маркетологу. Сметы и сроки, посчитанные ИИ, проверяйте двумя промптами: с вашим ожиданием и без него. Если цифры заметно расходятся, ответ модели говорит о вашей подсказке больше, чем о задаче.

Предпринимателю. Тест не требует денег и займёт 10 минут. Если зарубежные сервисы у вас не работают, его можно провести на доступных в РФ аналогах: YandexGPT и GigaChat.

Практический шаг на сегодня: возьмите последнюю задачу, которую оценивали вместе с нейросетью, и прогоните её заново без своей цифры в запросе. Разница покажет, кто на самом деле ставил оценку, вы или модель.