Альтернатива ChatGPT в 8 раз дешевле: как не сломать бота китайскими иероглифами

Автор русскоязычного новостного бота @futur_e_news_bot опубликовал подробный разбор того, как он искал альтернативу ChatGPT и другим дорогим моделям для конвейера, обрабатывающего около 936 вызовов в сутки. Каждая новость проходит через LLM (большую языковую модель): категоризация, перевод, определение тональности, разбор по полям. Задача стояла конкретная: снизить счёт, не ломая продакшн. Результат оказался поучительнее, чем просто «нашёл дешевле».

Что понадобится

• Аккаунт на OpenRouter (агрегатор доступа к разным языковым моделям через единый API) с положительным балансом, даже 1 доллар для старта
• Рабочий промпт (промпт, текстовая инструкция для модели), который вы уже используете в продакшне, не тестовый «привет, как дела»
• Python 3.10+ для детектора иероглифов, если работаете с китайскими моделями
• 2 часа на тестирование и один вечер на мониторинг после переключения

Как искать дешёвую модель и не сломать проект?

1. Составьте список бесплатных моделей на OpenRouter. Автор нашёл 17 штук с ценой $0. Из них реально заработали только три: остальные возвращали ошибку 404: No endpoints available, то есть были закрыты политикой данных аккаунта.

2. Проверяйте каждую модель на реальном промпте из продакшна. Из трёх работающих бесплатных одна была заточена под код, вторая (gemma-4) отвечала по 11-21 секунд и через раз возвращала пустой ответ, третья (tencent/hy3) не поддерживала response_format для JSON, и OpenRouter молча маршрутизировал мимо неё.

3. Посчитайте, укладывается ли модель в таймаут вашего конвейера. Конвейер автора берёт пачку из 60 новостей, таймаут 600 секунд. При 20 секундах на вызов нужно 1200 секунд, конвейер падает. Бесплатные модели не прошли именно по скорости.

4. Найдите платную модель с нужным балансом цены и качества. Автор остановился на inclusionai/ling-2.6-flash: $0.010 за миллион входных токенов против $0.098 у deepseek-v4-flash. На реальных промптах обе выдали одинаковую точность (4 из 4 по категориям, 6 из 6 по разбору), но новая модель отвечала за 2.4 секунды вместо 10.

5. Обязательно укажите max_tokens в каждом запросе. Без этого параметра OpenRouter резервирует весь контекст модели. Автор получил ошибку:

402: This request requires more credits. You requested up to 65536 tokens,
but can only afford 1314.

Строчка "max_tokens": 2048 решила проблему полностью.

1. Добавьте детектор языковых утечек, если модель не англоязычная. Китайская модель в 17% коротких ответов и в 57% длинных вставляла иероглифы в русский текст. Детектор на регулярном выражении:

import re

_CJK_RE = re.compile(r"[\u2E80-\u303F\u30A0-\u30FF\u4E00-\u9FFF\uFF00-\uFFEF]")

def _has_cjk(*values) -> bool:
    return any(_CJK_RE.search(str(v or "")) for v in values)

1. Настройте переспрос на чистой модели. Если детектор находит иероглифы, тот же запрос уходит на deepseek-v4-flash. Дешёвая модель обслуживает большинство запросов, дорогая подчищает за ней.

2. Выстройте цепочку отказоустойчивости. Финальная конфигурация автора: ling-2.6-flash как основная, deepseek-v4-flash для переспросов и страховки, gemma:free последней на случай падения провайдера.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Если вы используете ИИ для обработки текстов и платите за API, попробуйте OpenRouter как единую точку входа к разным моделям. Переключиться между моделями можно без переписывания кода, меняется только название модели в запросе. Но обязательно проверяйте ответы на языковые утечки, если модель не обучалась на русском как на основном языке.

Маркетологам. Расходы на LLM масштабируются не с числом клиентов, а с объёмом контента. По данным автора, 30 активных пользователей его бота дают 0.3% расходов, остальное съедает поток новостей. Это значит, что оптимизировать нужно конвейер обработки, а не бояться роста аудитории.

Предпринимателям в РФ и СНГ. OpenRouter доступен из России, оплата через карту. Из российских аналогов для задач категоризации и перевода можно рассмотреть YandexGPT и GigaChat, но у них другая модель ценообразования: не по токенам, а по тарифным планам, и агрегатора с мгновенным переключением между ними пока нет.

Главный урок из этого кейса укладывается в одну строку: тестируйте не только то, что модель ответила правильно, но и то, что она ответила на правильном языке, и добавьте эту проверку в автотесты до того, как переключите продакшн.