LLM в поиске кандидатов подняла точность выдачи резюме с 43,7 до 66,3%

Результат опубликован командой российской платформы подбора ИТ-специалистов. До переделки поиск кандидатов работал на эмбеддингах (числовых «слепках» текста, по которым считается близость документов): система сравнивала текст вакансии с текстами резюме и выводила наверх те, что ближе по словам. Проблема в том, что резюме сильного программиста совпадает с вакансией архитектора почти по всем ключевым словам, но это другая роль. Рекрутер видит разницу за секунды. Поиск не видит вовсе.

Что поменялось в поиске кандидатов?

• Место кандидата в выдаче теперь определяет LLM, а не только косинусная близость. Модель играет роль опытного рекрутёра: сначала проверяет фактическую роль по последним позициям в опыте (титул в шапке резюме ролью не считается), потом уровень по датам и масштабу проектов, и только после этого смотрит навыки и стек.
• Каждый вердикт обязан содержать дословную цитату из резюме длиной до 200 символов. Нет подтверждения, статус требования не выше «частично». В промпте (системной инструкции для модели) прямо прописано: «НЕ выдумывай цитаты».
• Строгая точность первой десятки выросла с 43,7 до 66,3%. Замер проведён на эталонном наборе из 476 пар «вакансия и резюме» по 19 живым вакансиям, замороженном до начала работ. Каждую пару разметил человек одним из трёх вердиктов: «подходит» (174), «пограничный» (120), «мимо» (182).
• Любая из четырёх проверенных LLM побила чистый векторный поиск с запасом от 14 до 22 процентных пунктов строгой точности.
• RRF (Reciprocal Rank Fusion, стандартный приём слияния семантического и полнотекстового поиска) провалился: ухудшил и полноту, и точность уже на первой проверке.
• Перебор 1330 вариантов взвешивания оценок судьи доказал, что веса не нужны, простое ранжирование по общей оценке работает не хуже.

Почему дешёвая модель проиграла, хотя была точнее?

Тендер между четырьмя LLM (gpt-4o, gpt-4.1-mini и двумя другими) дал неожиданный поворот. По соотношению цены, скорости и точности лидировала gpt-4.1-mini. Но проверка цитат вскрыла проблему: 27,2% цитат этой модели не нашлись в тексте резюме дословно.

Разбор вручную показал, что откровенно выдуманных фактов почти нет. Модель «цитирует по памяти»: заменяет глагол синонимом, вносит опечатку, склеивает два пункта списка в одну строку. Смысл сохранён, буква нарушена.

Для внутреннего ранжирования это безвредно. Но для рекрутера, который проверяет вердикт по резюме, «почти точная» цитата подрывает доверие: если цитату нельзя найти в документе за три секунды, она бесполезна. Именно требование дословности отсеяло «экономичного» кандидата на роль судьи.

Отдельная история с gpt-5 (рассуждающая модель, reasoning model). Она выжигала бюджет токенов (единиц текста, которые модель обрабатывает за один вызов) на скрытые размышления и на большинстве пар возвращала пустой ответ, даже при потолке в 24 тысячи токенов. Прогон стоил около 8,60 доллара и почти ничего не вернул.

Как попробовать похожий подход?

1. Соберите эталонный набор. Возьмите реальные вакансии и резюме, попросите рекрутера разметить каждую пару вердиктом «подходит», «пограничный», «мимо». Даже 15 вакансий и несколько сотен пар дадут измеримую базу для сравнения.
2. Напишите промпт-судью. Опишите порядок анализа: сначала роль (по опыту, не по титулу), потом уровень, потом навыки. Потребуйте дословные цитаты из резюме как доказательство каждого вердикта. Формат ответа зафиксируйте в JSON.
3. Прогоните эталон через несколько моделей. Сравните не только точность, но и долю «фантомных» цитат. Проверка простая: ищите подстроку цитаты в тексте резюме после нормализации пробелов и регистра.
4. Заморозьте эталон и привинтите контрольный тест. Авторы проекта называют это «скучным решением, которое оказалось самым полезным»: любой спор «а стало ли лучше» решается прогоном, а прогоны разных недель есть с чем сравнивать.

Есть ли аналоги в России?

Для поиска кандидатов с LLM-переранжированием готового коробочного продукта на российском рынке пока нет. Но собрать похожую связку можно на отечественных моделях.

YandexGPT и GigaChat поддерживают JSON-режим ответа, что критично для автоматического разбора вердиктов. Главный вопрос: как поведут себя эти модели с дословным цитированием из резюме. По описанному в статье методу это проверяется за один прогон эталонного набора.

Что с этого вам?

Рекрутерам и HR-командам. Если ваш поиск кандидатов построен на векторной близости, попробуйте добавить LLM-переранжирование хотя бы на десяти вакансиях. Прирост с 44 до 66% релевантных резюме в топ-10 означает, что рекрутер тратит вдвое меньше времени на отсев «текстово похожих, но не подходящих» специалистов.

Авторам Дзена и контент-маркетологам. Этот же принцип «судья с цитатами» применим к любому контентному поиску: подбор релевантных статей, проверка фактов в черновиках, сортировка пользовательских отзывов. Промпт-судья с требованием цитат из источника, рабочий шаблон.

Предпринимателям в РФ. Описанный подход не требует зарубежной инфраструктуры: эталонный набор, промпт и проверка цитат работают с любой LLM. Начните с YandexGPT или GigaChat, замерьте долю фантомных цитат и сравните с gpt-4.1-mini (27,2%).

Частые вопросы

Нужно ли менять всю поисковую систему, чтобы внедрить LLM-судью?

Нет. Судья работает поверх существующего поиска: сначала векторный поиск находит кандидатов по близости текстов, потом LLM переранжирует результат. Существующую инфраструктуру менять не нужно, добавляется только этап переранжирования.

Почему нельзя просто взять самую дешёвую модель?

Потому что дешёвая модель может «цитировать по памяти», подменяя слова синонимами. В описанном тендере у gpt-4.1-mini 27,2% цитат не совпали с текстом резюме дословно. Для автоматического ранжирования это терпимо, но рекрутер не сможет быстро проверить вердикт, и доверие к системе падает.

Сработает ли этот подход с российскими LLM?

Архитектура не привязана к конкретной модели: промпт-судья, JSON-ответ, проверка цитат подстрокой. YandexGPT и GigaChat поддерживают нужный формат. Единственное, что нужно замерить, долю фантомных цитат на вашем эталонном наборе. Именно этот показатель, а не общая точность, определяет, подходит ли модель для поиска кандидатов с доказательной базой.

Команда, стоящая за этим проектом, честно зафиксировала слабое место: один разметчик, 19 вакансий. Но сам метод, судья с обязательными цитатами и замороженный эталон, переносится на любую задачу, где нужно не просто найти похожий текст, а оценить, подходит ли человек, документ или статья по существу.