Французский стартап ZML ускоряет вывод искусственного интеллекта

До сих пор запуск больших языковых моделей на «неродных» ускорителях означал потерю скорости или полную несовместимость. По словам основателя ZML Стива Морена в интервью TechCrunch, программные и архитектурные барьеры ведут к зависимости от одного вендора. ZML/LLMD заявлен как ответ: единый инференс-сервер, работающий с чипами от пяти крупных производителей. Продукт стартует бесплатно, команда состоит из 20 человек, а офис находится в Париже.

Что умеет ZML/LLMD?

• Мультичиповый инференс. Открытые языковые модели запускаются на GPU Nvidia, AMD, TPU Google, Apple Metal и Intel Arc. Не нужно переписывать код под каждый ускоритель.
• Максимальная скорость на каждом чипе. По словам Морена, сервер выжимает из каждого процессора «максимально доступную скорость, а иногда и выше».
• Снижение зависимости от одного вендора. Предприятия и облачные провайдеры могут комбинировать чипы, выбирая более дешёвые или энергоэффективные варианты.
• Поддержка европейских чипмейкеров. Морен назвал партнёров: Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud и VSORA. По его словам, с ними ZML работает над вещами, «которые раньше не делались нигде в мире».

Откуда деньги и кто поддерживает?

ZML привлёк 20 млн долларов от венчурных фондов, среди которых 20VC Гарри Стеббингса, Kima Ventures Ксавье Ньеля, LocalGlobe, Kindred Capital, Puzzle Ventures и другие. Морен до ZML был вице-президентом по инжинирингу в Zenly, которую Snapchat купил в 2017 году за сумму в девять знаков.

Среди ангельских инвесторов и советников, основатель Docker Соломон Хайкс, сооснователи Hugging Face Клеман Делангю и Жюльен Шомон, а также Янн Лекун, лауреат премии Тьюринга (высшая награда в области компьютерных наук, аналог Нобелевской), ныне работающий в AMI Labs. Факт, что такие фигуры вложились в 20-человечную команду из Парижа, сам по себе говорит о серьёзности ставки.

С кем конкурирует ZML/LLMD?

Инференс переживает бум инвестиций, который в англоязычной прессе уже прозвали «инференсовой золотой лихорадкой». Конкуренты ZML:

• Baseten, недавно оценённый в 13 млрд долларов (по данным TechCrunch).
• Inferact, созданный авторами опенсорс-проекта vLLM.
• RadixArk, коммерческая компания за проектом SGLang.

Морен не скрывает, что vLLM и SGLang частично пересекаются с LLMD, но подчёркивает: амбиции ZML шире. «Мы дошли до точки, где мы совместно проектируем кремний», заявил он TechCrunch.

Отношения с Nvidia при этом Морен назвал хорошими. Он не ставит против чипового гиганта, в том числе из-за уже существующей базы установленных ускорителей.

Почему продукт бесплатный?

В отличие от первого проекта ZML, открытого ML-фреймворка 2024 года, ZML/LLMD не опенсорс. Но запускается бесплатно. Морен объяснил логику: «Я лучше измерю использование и начну зарабатывать там, где это наиболее эффективно, чем затормозлю рост, потому что был слишком жадным на старте». Дату перехода к платной модели компания пока не назвала.

Как попробовать?

1. Зайдите на софициальный сайт ZML (поиск по запросу «ZML LLMD inference server», прямую ссылку источник не приводит).
2. Скачайте серверную часть ZML/LLMD. Продукт на старте бесплатный, регистрация по данным TechCrunch не требует оплаты.
3. Подключите ваш ускоритель: поддерживаются Nvidia, AMD, Google TPU, Apple Metal, Intel Arc.
4. Запустите любую совместимую открытую языковую модель и проверьте скорость инференса на вашем оборудовании.

Что это значит для российских пользователей?

Прямых российских аналогов ZML/LLMD по функциональности (мультичиповый инференс-сервер) на момент публикации нет. Но контекст важен.

• Авторам Дзена и копирайтерам. Если вы используете локальные нейросети (Llama, Mistral) для генерации текстов и нейросеть для SEO-оптимизации, ZML/LLMD потенциально позволяет запускать их на тех ускорителях, которые у вас есть, включая видеокарты Intel Arc и даже Mac с чипом Apple. Это снижает порог входа.
• Маркетологам. Зависимость от облака Nvidia, это зависимость в цене. Если инференс-сервер действительно работает на дешёвых чипах без потери скорости, стоимость генерации контента и аналитики через нейросеть для SEO-оптимизации может упасть.
• Предпринимателям в РФ и СНГ. В условиях ограничений на поставки топовых GPU от Nvidia возможность запускать модели на альтернативных чипах (AMD, Intel) критически актуальна. ZML/LLMD не решит проблему доступа к оборудованию целиком, но расширяет список чипов, на которых можно работать.

Если вы используете российские облачные сервисы с моделями YandexGPT или GigaChat, ZML/LLMD вас пока не касается напрямую: эти модели закрытые и работают на инфраструктуре Яндекса и Сбера. Инструмент актуален для тех, кто разворачивает открытые модели на собственном или арендованном оборудовании.

Частые вопросы

ZML/LLMD, это открытая модель?

Нет. Первый проект ZML (ML-фреймворк 2024 года) был опенсорсным. ZML/LLMD, закрытый продукт, но на старте полностью бесплатный. Морен объяснил это желанием сначала изучить использование, а потом выбрать модель монетизации.

Нужна ли видеокарта Nvidia для работы?

Нет. В этом суть продукта. ZML/LLMD поддерживает GPU Nvidia, AMD, Google TPU, Apple Metal и Intel Arc. Вы можете использовать то оборудование, которое у вас уже есть.

Когда продукт станет платным?

Компания не назвала ни сроков, ни будущей цены. По словам Морена, сначала команда хочет понять, как продукт используют, и только потом определить точки монетизации.

Если вы давно хотели запустить открытую языковую модель, но упирались в дорогое или недоступное железо, ZML/LLMD даёт шанс проверить, работает ли ваш чип на полной скорости, и это первый шаг к тому, чтобы стоимость инференса определялась задачей, а не маркой видеокарты.