Реранкер нейросети Jev обошёл модели в 60 раз дороже: 78% точности на 78 000 кодов

Задача возникла в практике классификации казахстанских госзакупок по справочнику ОКТРУ (классификатор товаров, работ и услуг Казахстана, 77 772 листовых кода). Стандартная схема «поиск плюс реранк» отбирает 30 кандидатов гибридным поиском, а затем генеративная модель выбирает один. Именно второй шаг съедает почти всё время и почти все деньги. Автор бенчмарка проверил, можно ли отдать его модели, которая не генерирует текст, а возвращает вероятности. Результаты сравнения на 928 позициях из реальных техспецификаций опубликованы с методикой и кодом.

Почему здесь не работает обычный классификатор?

По большинству из 78 тысяч кодов ОКТРУ размеченных примеров нет вообще: реальные закупки покрывают справочник неравномерно, длинный хвост кодов встречается по нескольку раз в год или не встречается вовсе. Обучать классический ML-классификатор не на чем. Синтетика тоже не спасает: чтобы сгенерировать правдоподобные позиции для редкого кода, нужны примеры этого кода, а их как раз нет.

Поэтому задача решается как поиск по описаниям кодов с последующим выбором лучшего кандидата. Гибридный поиск (BM25 плюс эмбеддинги, то есть векторные представления текста) ставит правильный код первым в 49% случаев, но удерживает его в top-30 в 90% случаев. Реранкер нейросети одним вызовом поднимает точное попадание до 78%.

Что понадобится

• Аккаунт TypeSafe и API-ключ для модели Jev (версия jev-1.13.0 или алиас jev-latest)
• Python 3.10+ и библиотека typesafe_sdk
• Индекс кандидатов: справочник кодов, проиндексированный для гибридного поиска (BM25 плюс эмбеддинги)
• Набор позиций для классификации (текст из прайс-листа, техзадания, спецификации)
• Примерно 30 минут на настройку пайплайна и первый прогон

Пошаговая инструкция

1. Подготовьте индекс кандидатов. Загрузите описания всех листовых кодов справочника в поисковый индекс с гибридным поиском. Для каждой входной позиции индекс должен возвращать top-30 кандидатов.

2. Установите SDK TypeSafe.

pip install typesafe-sdk

1. Сформулируйте вопрос типа Noul. Noul (от английского «да/нет») возвращает вероятность «да» для каждой пары «позиция плюс кандидат». Это парная схема реранка: 30 кандидатов означают 30 независимых вызовов.

from typesafe_sdk import Noul, NoulCriteria, TypeSafeClient

question = Noul(
    instructions=(
        "Классифицируется позиция из прайс-листа или техзадания "
        "по справочнику ОКТРУ. Кандидат — один листовой код "
        "справочника со своей иерархией, названием и описанием. "
        "Обозначает ли кандидат ТОТ ЖЕ вид товара, "
        "что и классифицируемая позиция?"
    ),
    criteria=NoulCriteria(
        true="Кандидат называет тот же вид товара. "
             "Расхождения в марке, типоразмере, исполнении "
             "или производителе попаданию не мешают.",
        false="Другой вид товара: соседняя группа, "
              "изделие того же материала, но другого назначения."
    )
)

1. Отправьте каждую пару «позиция плюс кандидат» в Jev. В поле state передайте текст позиции и описание кандидата. Модель вернёт вероятность совпадения, а не сгенерированный текст.

client = TypeSafeClient(api_key="ваш_ключ")

results = []
for candidate in top_30_candidates:
    state = f"Позиция: {item_text}\nКандидат: {candidate['description']}"
    response = client.ask(state=state, questions=[question], model="jev-latest")
    results.append((candidate['code'], response.answers[0].probability))

1. Отсортируйте кандидатов по убывающей вероятности. Код с наивысшей вероятностью и есть ответ реранкера.

results.sort(key=lambda x: x[1], reverse=True)
best_code = results[0][0]

1. Для альтернативного подхода используйте вопрос типа Choice. Вместо 30 отдельных вызовов Noul можно передать все 30 кандидатов одним вопросом Choice (один вариант из набора). Модель вернёт распределение вероятностей по всем вариантам за один вызов. По данным автора бенчмарка, оба способа дают сопоставимую точность.

Сколько это стоит и как быстро работает?

Цифры из бенчмарка на 928 позициях (публичные тарифы, у Gemini учтены токены мышления):

• Jev: около $0,11 за тысячу позиций, около 1,2 секунды на позицию
• gpt-oss-120b без reasoning: около 6 400 входных плюс 230 выходных токенов, дороже Jev вдвое
• gpt-oss-120b с reasoning: 6 400 входных плюс 700 выходных токенов (reasoning-трейс, то есть цепочка рассуждений, которую модель пишет перед ответом и которая тоже оплачивается), $1,39 за тысячу позиций, 5,2 секунды на позицию
• Облачная модель с мышлением: дороже Jev в 13 раз

При потоке в миллион позиций в квартал реранк через gpt-oss-120b стоит около $1 400 и занимает 9 дней машинного времени на восьми воркерах. Jev сокращает и стоимость, и время кратно.

Ещё одна деталь: gpt-oss-120b меняет свой ответ примерно на каждой шестой позиции от прогона к прогону, и выключение reasoning это не лечит. Jev возвращает детерминированные вероятности.

Что делать с этим прямо сейчас?

Если вы автор на Дзене или копирайтер. Jev пока не про тексты, а про структурированную классификацию. Но принцип «не генерировать текст, а получать вероятности» полезно понимать: не каждая задача требует генеративной модели. Когда вам нужно отсортировать, ранжировать, выбрать лучшее из списка, реранкер нейросети может оказаться точнее и дешевле, чем промпт к ChatGPT.

Если вы маркетолог или продакт. Классификация товаров, подбор категорий для каталога, маршрутизация обращений по темам, все задачи «выбери один из многих» могут стоить в разы дешевле, если отдать их вероятностной модели вместо генеративной. Экономия до 95% затрат на инференс (обработку запроса моделью), по данным бенчмарка, это аргумент для любого бизнес-кейса.

Если вы предприниматель в РФ или СНГ. Бенчмарк проведён на русском тексте казахстанских госзакупок, то есть модель работает с кириллицей, хотя TypeSafe указывает, что основной язык Jev английский и остальные «поддерживаются, но не одинаково хорошо». Из доступных в РФ альтернатив для реранка стоит смотреть на Qwen3-Reranker-8B (открытые веса, можно запустить локально), но в этом бенчмарке Jev показал лучшую точность.

Реранкер нейросети, который не пишет ни одного токена текста, а возвращает вероятности, оказался точнее и в 13 раз дешевле облачных генеративных моделей на задаче с 78 тысячами классов. Если у вас есть задача «выбери лучшее из списка», стоит проверить, не переплачиваете ли вы за генерацию там, где достаточно ранжирования.