LLM költségek в продакшене: как JobPath сократил счёт с $2000 до $29 в месяц

Команда JobPath каждую ночь автоматически собирает вакансии из открытых источников и Telegram-каналов, превращая сырой текст в структурированную карточку. Сначала задачу решала Claude Sonnet, но при стоимости 0,0485 доллара за вакансию месячный счёт дорос до 2 000 долларов и продолжал расти вместе с каталогом. Публикация в блоге JobPath описывает, как команда перешла на модель, которая стоит в 70 раз дешевле, и какие грабли попались по дороге.

Что понадобится

• Рабочий пайплайн обработки текста через LLM с жёсткой JSON-схемой (tool call, то есть вызов функции с заранее описанной структурой ответа)
• Доступ к нескольким моделям через агрегатор (OpenRouter или аналог), чтобы переключаться одной переменной окружения
• Набор для оценки качества (эвал): 50 реальных примеров из вашего продакшена, максимально разных по длине, формату и наличию данных
• Модель-судья для слепого сравнения результатов (в кейсе JobPath использовали Opus)
• Время: вечер на эвал, неделя на обвязку и тестирование в бою

Как перейти на дешёвую модель и не сломать продукт?

1. Докажите ценность на лучшей модели, потом оптимизируйте. JobPath начинал с Claude Sonnet. Когда фича только запускается, вопрос «работает ли вообще» важнее вопроса «сколько стоит». Дорогая модель даёт чистый сигнал: если результат плохой, проблема в задаче, а не в модели.

2. Соберите эвал из реальных данных. 50 вакансий из продакшена: длинные и короткие, с зарплатой и без, IT и не IT, посты из Telegram с эмодзи и голый HTML. Каждую прогоните через всех кандидатов по одной и той же схеме.

3. Оцените результаты вслепую. Модель-судья получает исходный текст и две карточки без указания авторства. Оценки ставятся по конкретным критериям: полнота, точность, качество русского языка, адекватность зарплатной оценки. JobPath использовали для этого Opus. Выборочно проверьте треть результатов вручную.

4. Разделяйте «качество текста» и «пригодность для продакшена». В эвале JobPath модель Qwen3-235B писала лучший русский текст, но в половине случаев не могла извлечь зарплату, а в остальных иногда путала 3 миллиона в год с 3 миллионами в месяц. В продакшен поехала не она. Аналогично DeepSeek: прекрасно понимал вакансии, но упорно возвращал поле requirements строкой с буллетами вместо массива строк. Формально ответ, фактически сломанный пайплайн.

5. Выберите модель и выстройте защитный слой. JobPath выбрали модель в 70 раз дешевле Sonnet. Качество по их шкале просело с 4,48 до 4,06 (шкалу создавали с помощью сервиса Fable). Но вокруг дешёвой модели пришлось построить обвязку, которая с Sonnet была не нужна. Конкретные проверки описаны ниже.

6. Добавьте валидацию каждого поля.

# Пример: поле difficulty приходит то объектом, то строкой
if isinstance(data["difficulty"], str):
    data["difficulty"] = {"score": None, "comment": data["difficulty"]}
score = data["difficulty"].get("score")

Без такой проверки одна кривая вакансия роняла весь батч (пакет обработки). Теперь каждая вакансия обёрнута в свой блок обработки ошибок: одна сломалась, остальные доехали.

1. Ретрайте на уровне бизнес-логики, а не HTTP. Агрегатор может вернуть код 200 (то есть «всё хорошо»), tool call на месте, имя функции правильное, а внутри пустой объект. Обычные HTTP-ретраи (повторные запросы при ошибке сервера) не сработают, потому что ошибки формально нет. Обёртка вокруг вызова должна проверять, что обязательные поля на месте, и повторять запрос с паузой.

2. Обрабатывайте списки-строки. Дешёвые модели иногда возвращают одну строку с буллетами вместо массива. Напишите функцию, которая разбивает такую строку обратно в массив (коэрсия типов).

3. Нормализуйте зарплаты явно. Если в тексте вакансии указана зарплата в долларах или годовая сумма, модель должна пересчитать в рубли в месяц. Дешёвые модели путают периоды (годовая вместо месячной) чаще дорогих. Добавьте проверку диапазона: месячная зарплата в 3 миллиона рублей для рядовой позиции, это сигнал ошибки.

4. Проверяйте ключи и биллинг, а не только статус провайдера. Протухший ключ шлюза может отвечать кодами 502 и 529 Overloaded вместо честного «ключ невалиден». Правило JobPath: если «инцидент» длится дольше 15 минут и не подтверждается статус-страницей провайдера, проверяйте ключ и биллинг. Один недосмотр в обработке ошибок биллинга сжёг у команды 16 000 вызовов за ночь.

Что с этого вам прямо сейчас?

Автору Дзена. Если вы используете LLM для пакетной обработки текстов (рерайт, структурирование, классификация), логика та же: начните с дорогой модели, зафиксируйте качество как эталон, потом переключитесь на дешёвую и замерьте разницу. Не на глаз, а на выборке из 30 от 50 реальных примеров.

Маркетологу. Расходы на LLM в пайплайне растут линейно с объёмом данных. Когда вы обрабатываете отзывы, лиды или каталог товаров, переход на дешёвую модель с валидацией может снизить статью расходов в десятки раз. Но бюджет на обвязку (код проверок и ретраев) закладывайте сразу.

Предпринимателю в РФ. Кейс JobPath построен на русскоязычных вакансиях, и грабли характерны именно для русского языка: путаница в зарплатных периодах (годовая и месячная), нормализация навыков (Postgres и PostgreSQL как один навык), обработка постов из Telegram. Из доступных в РФ моделей для аналогичных задач подойдут YandexGPT и GigaChat, но эвал придётся собирать свой.

Главный урок из кейса JobPath: дешёвая модель ломается не в интеллекте, а в дисциплине, и чинится не промптом, а кодом вокруг неё.