От Discord-бота до 10 трлн токенов в сутки: как OpenRouter AI стала инфраструктурой для ИИ

Подкаст Latent Space опубликовал большое интервью с сооснователем и CEO OpenRouter Алексом Аталлой и партнёром фонда a16z Анжни Мидхой. Разговор подробно раскрывает путь стартапа от первых экспериментов с открытыми моделями Llama и Alpaca до приобретения компанией Stripe. Материал ценен тем, что показывает конкретные уроки дистрибуции и монетизации в мире ИИ, которые применимы далеко за пределами Кремниевой долины.

Как появился OpenRouter AI и почему ставка была на «много моделей»?

Компания родилась в первую волну открытых моделей (открытые веса, то есть модели, параметры которых доступны для скачивания и запуска на своём оборудовании). Когда Meta выпустила Llama, а Стэнфорд опубликовал Alpaca, Аталла увидел, что ни одна модель не закрывает все задачи одинаково хорошо.

Ранний опыт с Discord-ботами показал ограничения закрытых моделей: они не давали гибкости в выборе поставщика и привязывали разработчика к одному API. OpenRouter AI предложил единый интерфейс, через который можно отправить запрос к десяткам моделей от разных лабораторий, и автоматически направить его к лучшей для конкретной задачи.

Концепцию «нейтрального маршрутизатора» (neutral routing layer) подтвердил кейс Mistral. Французская лаборатория вышла с агрессивными ценами на инференс (инференс, это процесс, когда обученная модель обрабатывает ваш запрос и выдаёт ответ), и OpenRouter стал площадкой, где разработчики впервые сравнили стоимость и скорость конкурирующих моделей в реальном времени.

Аргументы за: «обёртка» оказалась инфраструктурой

• Лаборатории тратят миллиарды на обучение, но не умеют продавать. По словам Аталлы, модельные лаборатории могут потратить огромный бюджет на тренировку контрольной точки (checkpoint), но у них нет каналов, чтобы быстро довести её до разработчиков. OpenRouter AI решает именно эту задачу.

• Рейтинг моделей стал «живой картой» индустрии. Лидерборд OpenRouter показывает, какие модели реально используются и как меняются предпочтения. Это не синтетический бенчмарк, а данные по реальному трафику.

• Фокус победил диверсификацию. Команда сознательно отказалась от расширения в дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу), память и смежные продукты. Аталла считает, что именно узкая специализация на маршрутизации и стала главным стратегическим преимуществом.

• Масштаб подтверждён числами. По данным из подкаста, платформа обрабатывает больше 10 триллионов токенов (токен, минимальная единица текста, которую «видит» модель, примерно три четверти слова) в сутки и обслуживает больше 10 миллионов разработчиков.

Аргументы против: почему скептики не торопятся соглашаться

• «Просто обёртка». Венчурные инвесторы долго отмахивались от OpenRouter, называя компанию «просто маркетплейсом» или «просто обёрткой» (just a wrapper). Логика проста: если вся ценность внутри моделей, посредник зарабатывает на марже, которую лаборатории могут в любой момент обнулить прямыми продажами.

• Риск консолидации рынка. Если одна модель всё же вырвется далеко вперёд, нейтральный маршрутизатор теряет смысл: зачем выбирать из десятка, когда один вариант закрывает всё.

• Эксперименты с объединением моделей (Mixture of Models) провалились. Аталла признал, что первую версию MOM (эксперимент, где несколько моделей совместно генерируют ответ) пришлось удалить. Вернули функцию лишь спустя годы, когда качество моделей выросло. Это показывает, что не каждая идея на стыке моделей работает с первого раза.

• Мошенничество с токенами. Мидха предупреждает, что инференс-шлюзы становятся мишенью для фрода, причём следующая волна атак придёт не от людей, а от автономных ИИ-агентов (программ, которые выполняют задачи самостоятельно, без пошаговых команд пользователя). Это новый класс угроз, к которому инфраструктура пока не готова.

Лаборатории тратят миллиарды на обучение контрольных точек и всё равно не могут довести их до рук разработчиков. Мы решаем именно эту проблему. : Алекс Аталла, сооснователь и CEO OpenRouter

Что делать с этим прямо сейчас, по ролям

Автору на Дзене. Принцип «много моделей лучше одной» работает уже сегодня. Не привязывайтесь к одной нейросети: пишите черновик в одной, редактируйте в другой, проверяйте факты в третьей. Даже без OpenRouter AI этот подход экономит время и повышает качество текстов.

Маркетологу. Следите за рейтингами реального использования моделей, а не за маркетинговыми бенчмарками. Если ваш сервис работает на одном API, заложите архитектуру, позволяющую переключиться на другую модель за часы, а не за месяцы.

Разработчику и предпринимателю в РФ. История OpenRouter показывает: проблема дистрибуции моделей не решена нигде, в том числе и у YandexGPT, и у GigaChat. Тот, кто построит удобный нейтральный маршрутизатор для российских и доступных зарубежных моделей, займёт пустую нишу.

Покупка OpenRouter компанией Stripe говорит о том, что «токеномика» (экономика потребления и оплаты токенов) становится отдельной финансовой отраслью, со своими платежами, фродом и регуляцией. Следующий шаг, который стоит ждать: Stripe начнёт встраивать маршрутизацию моделей прямо в свою платёжную инфраструктуру, и тогда подключить ИИ к продукту будет не сложнее, чем подключить приём карт.