Nvidia поддержала индийский стартап, экономящий GPU: InVideo сократила расходы на 56%

По данным TechCrunch, Nvidia поддержала индийский стартап, который помогает компаниям запускать ИИ-модели на меньшем количестве GPU. GPU, это графические процессоры, специальные чипы, на которых работают нейросети, и сейчас компании тратят на них огромные деньги. Simplismart берётся выжать из уже купленного или арендованного железа больше.

Что Simplismart продаёт на самом деле?

Раунд серии B, это второй крупный этап привлечения денег после первых вложений. Раунд возглавил фонд Dallas Venture Capital, вместе с Nvidia участвовали Accel, Shastra VC и Micromax. Все 14 млн долларов пошли в компанию, никто из прежних владельцев свои доли не продавал.

Задача, которую решает стартап, приземлённая. Запустить модель стабильно и без лишних трат сложно: одной задаче важна скорость, другой цена, третьей объём запросов, и под каждую нужна ручная настройка. Simplismart заявляет, что её программа берёт эту настройку на себя.

Софт стоит между моделью и железом. Он подбирает, как быстро модель отвечает, сколько запросов обрабатывает и сколько мощностей потребляет. Речь идёт об инференсе (работе уже обученной модели, когда она отвечает на запросы пользователей).

Что ещё есть в наборе:

• запуск моделей на платформе самой Simplismart или внутри облака клиента и на его собственных серверах (on-premises);
• дообучение (обучение модели на ваших примерах под узкую задачу);
• автоматическое добавление и снятие мощностей при росте и падении нагрузки;
• наблюдение за производительностью;
• инструменты для облачных провайдеров, которые хотят построить собственный сервис инференса.

На самом деле никому не нужен ни самый быстрый, ни самый дешёвый инференс. : Амританшу Джайн, сооснователь и генеральный директор Simplismart

Джайн пояснил, что компаниям нужна скорость и цена, разумные для конкретного продукта. По словам Simplismart, видеоплатформа InVideo сократила расходы на GPU для работы моделей на 56%. Среди клиентов также HeyGen, Higgsfield и Ema, а индийское облако Yotta построило на технологии стартапа бессерверный сервис инференса (клиент платит за запросы, а не за аренду сервера) в своей платформе Shakti Studio.

Годовая выручка в пересчёте с текущих темпов выросла за полгода в 14 раз и достигла восьмизначной суммы, точную цифру Джайн не назвал. Оговорка компании существенная: расчёт сделан по недавнему потреблению клиентов, а не по подписанным контрактам. Больше половины выручки приходит из США, хотя клиентов больше в Индии.

Зачем Nvidia платить за меньшее число своих чипов?

Сделка выглядит парадоксом, и TechCrunch это прямо отмечает. Джайн отвечает так: если инференс станет эффективнее, железо Nvidia будет привлекательнее для клиентов, а ИИ-приложений станет больше. Помимо денег, инженеры Simplismart и архитекторы решений Nvidia вместе работают над интеграциями, в том числе с программой Dynamo, софтом Nvidia для инференса, и Nvidia знакомит стартап с потенциальными клиентами.

Конкуренты тяжёлые: сама Nvidia, а также Amazon Web Services, Google Cloud и Microsoft Azure, плюс растущее число стартапов. Джайн говорит, что Simplismart выигрывает там, где клиенту жёстко прописаны SLA (гарантированные параметры работы сервиса) и важна совокупная стоимость владения, то есть все расходы на систему за срок службы. Конкуренты, по его словам, предлагают готовые режимы «быстрее» или «дешевле», а Simplismart подбирает баланс под каждого.

Деньги пойдут на расширение в США, найм и развитие софта. В компании сейчас 58 человек, основали её в 2022 году Джайн, ранее инженер Oracle, и Деванш Гхатак, ранее инженер Google.

Любопытная деталь: The Economic Times писала о переговорах о раунде от 40 до 50 млн долларов при оценке от 300 до 400 млн. Джайн комментировать не стал, сказал, что компания активно деньги не ищет, а раунд серии B закрыт и расширяться не будет.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: следите за ценами видеосервисов на нейросетях. InVideo и HeyGen среди клиентов Simplismart, и экономия на железе со временем может отразиться на тарифах, хотя сами сервисы об этом не заявляли.

Маркетологу: если команда платит за модели по запросам, спросите подрядчика, на что оптимизирован сервис, на скорость или на цену. Мысль Джайна полезна и без самой Simplismart: переплачивать за скорость, которая продукту не нужна, бессмысленно.

Предпринимателю РФ и СНГ: о работе с Россией источник не сообщает. Сам подход переносится: софт работает поверх существующих облаков и собственных серверов, поэтому при ограниченном доступе к GPU выгоднее настраивать имеющиеся мощности, чем докупать новые. Из доступных в РФ площадок для запуска моделей подойдут российские облака, например Yandex Cloud и Cloud.ru.

Что это значит для вас?

Практический шаг на эту неделю: откройте счета за нейросетевые сервисы и проверьте, за какой режим вы платите. Если за самый быстрый, а ваши тексты и видео готовы подождать лишние секунды, вы, скорее всего, переплачиваете.