Промпт инженерия вместо месяца оптимизации: одна правка подняла качество бота на 16 п.п.

Автор, разработчик из России, ведёт телеграм-бота, который хранит переписку чатов и отвечает с опорой на накопленные факты. Бот работает в полутора тысячах чатов. В конце августа разработчик завершил месяц экспериментов с поисковым движком: перебирал параметры, искал оптимальные веса, тестировал разные подходы. Метрики поиска выросли, а качество ответов не сдвинулось. Одна строка в промпте решила то, что не смог решить месяц инженерной работы. Кейс опубликован как подробный разбор с цифрами и методологией.

Как устроен поиск по памяти в боте?

Бот хранит все сообщения чата. Когда пользователь задаёт вопрос, система должна из тысяч сообщений вытащить те несколько, где лежит ответ, и передать их языковой модели. Целиком переписка в контекст модели не помещается.

Используются два способа поиска:

• Векторный поиск. Каждое сообщение заранее превращается в набор чисел (вектор), который грубо отражает смысл текста. Вопрос превращается так же, и система ищет сообщения с близкими векторами. Находит по смыслу, даже если слова другие, но путается в точных деталях, именах и числах.
• Поиск по словам (BM25). Классический текстовый поиск, как в поисковой строке браузера. Точно находит редкое слово, но не понимает синонимов.

Гибрид запускает оба способа и смешивает результаты. Именно пропорция смешивания и стала предметом месячной оптимизации.

Что понадобится

• Телеграм-бот или любой продукт с памятью (база сообщений, документов, заметок)
• Доступ к языковой модели с API (ChatGPT, Claude, YandexGPT или аналог)
• Набор проверочных вопросов к вашим данным (как собрать, описано в шагах ниже)
• Текстовый редактор для промпта
• Время: 1 вечер на промпт, 2 часа на замер результата

Пошаговая инструкция

1. Соберите проверочный набор из реальных данных. Возьмите настоящие сообщения из вашей базы и попросите модель сформулировать вопрос, ответ на который содержится ровно в этом сообщении. Тогда вы точно знаете правильный ответ, потому что вопрос из него и сделан. Автор кейса получил 140 вопросов из 41 чата.

2. Отсейте тривиальные вопросы. Уберите вопросы, которые дословно повторяют исходное сообщение: иначе текстовый поиск покажет ложное превосходство. В кейсе так отсеялось 77 вопросов из 218. Уберите также вопросы по мусорным сообщениям (реклама, стикеры, служебные).

3. Замерьте текущее качество ответов, а не только поиска. Recall@5 (доля вопросов, где нужное сообщение попало в первую пятёрку выдачи) показывает, находит ли поиск нужное. Но конечная метрика, это качество ответа модели. Автор поднял Recall@5 с 0.543 до 0.636 (плюс 17%), а качество ответов выросло только на 3.3 процентных пункта при p = 0.79, то есть статистически результат неотличим от нуля.

4. Посмотрите в промпт, прежде чем менять движок. Проверьте, как именно вы инструктируете модель работать с найденными сообщениями. Автор обнаружил, что модель отказывалась отвечать, даже когда нужное сообщение лежало прямо перед ней. Проблема была в формулировке промпта.

5. Правьте одну переменную за раз и замеряйте. Измените конкретную формулировку в системном промпте (системный промпт, это постоянная инструкция, которая задаёт модели роль и правила поведения). Прогоните тот же набор вопросов. Сравните процент правильных ответов.

6. Зафиксируйте результат числом. В кейсе итоговое качество выросло с 50% до 75.8%. Из этого прироста 16 процентных пунктов дала именно правка формулировки промпта, а не инженерные изменения в поиске.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена и копирайтерам. Если вы используете ИИ для работы с архивом текстов или базой знаний, проверьте свой промпт до того, как менять модель или платить за более дорогой тариф. Часто бот «не помнит» не потому, что плохо ищет, а потому, что инструкция не велит ему использовать найденное.

Разработчикам ботов и ИИ-продуктов. Замеряйте не только метрики поиска, но и конечное качество ответа. Соберите свой проверочный набор из реальных данных, не берите готовые бенчмарки (стандартные наборы для тестирования), они не отражают вашу специфику.

Предпринимателям. Прежде чем вкладывать бюджет в переделку поискового движка, попросите разработчика показать, как выглядит промпт. Правка формулировки бесплатна и занимает вечер, переделка инфраструктуры занимает месяц. Промпт-инжиниринг (промпт-инжиниринг, это практика составления точных инструкций для языковых моделей) здесь оказался в разы эффективнее инженерного подхода.

Промпт-инжиниринг не заменяет инженерию, но этот кейс ясно показывает: если вы не проверили формулировку промпта, вы, возможно, оптимизируете не то место.