Французский Kog ускоряет инференс в 30 раз: оптимизация GPU без замены оборудования

До сих пор ускорение инференса шло двумя путями: либо покупка дорогих специализированных чипов (как у Cerebras, вышедшей на IPO в мае), либо оптимизация на уровне самой модели. Kog предлагает третий вариант: выжать из обычных видеокарт то, на что те формально не рассчитаны, чисто программными методами. О стартапе рассказало издание TechCrunch со слов основателя и CEO Гаэля Делалло.

Что показала демонстрация и в чём обещание?

• 3 000 токенов в секунду на один запрос. Такую скорость Kog показал на открытой модели Laneformer 2B с 2 миллиардами параметров, которую компания выложила в открытый доступ. Демонстрация прошла на серверных GPU AMD MI300X и Nvidia H200.
• Цель: ускорение в 30 раз для больших моделей. Пока результат получен на небольшой модели, но CEO заявил TechCrunch, что к сентябрю 2025 года планирует показать первую крупную модель с десятикратным ускорением.
• 200 бизнес-лидов после публикации. Техническое превью попало на главную страницу Hacker News, и, по словам Делалло, стартап получил 200 конкретных запросов от потенциальных клиентов.
• Фокус на программную инженерию. Первый сценарий использования, по данным обратной связи, это разработка кода. Пользователи Claude Code от Anthropic знают, что ответ иногда приходится ждать часами. Anthropic сама берёт доплату за быстрый режим «Fast Mode».
• Партнёры из сегмента генерации приложений. У Kog есть дизайн-партнёры, чьи сервисы генерируют игры и приложения по промпту (текстовому запросу). Для них быстрее инференс означает больше выручки.

Почему GPU, а не специальные чипы?

Делалло утверждает, что мнение о неприспособленности GPU к декодированию стало заблуждением. Новые поколения видеокарт получают всё больше пропускной способности памяти, которую никто пока не раскрывает до конца.

Подход Kog основатель сравнивает не с конкурентами вроде французской ZML, которая обходит проприетарную среду CUDA от Nvidia и поддерживает чипы разных производителей, а с лабораторией Hazy Research при Стэнфорде. Разница в глубине: команда Kog работает на уровне ассемблера и двоичного кода, то есть разбирает поведение каждого конкретного чипа почти вручную.

Делалло пришёл в тему из необычной комбинации: физика твёрдого тела в парижской Политехнической школе (École Polytechnique) плюс наступательная кибербезопасность, то есть «белый» хакинг. Четырёхкратный финалист хакерского турнира DEFCON CTF, он привык «разбирать систему до винтика и использовать её для целей, для которых она не проектировалась».

Где подвох?

Ручная оптимизация GPU занимает недели и месяцы на каждый новый чип. Команда Kog составляет 11 человек, и это ограничивает число поддерживаемых видеокарт. В перспективе компания надеется автоматизировать процесс через агентные пайплайны (цепочки, где ИИ-агенты выполняют этапы оптимизации сами).

Стартап пока не доказал, что подход работает на моделях с десятками и сотнями миллиардов параметров. Демонстрация на Laneformer 2B впечатляет скоростью, но 2 миллиарда параметров и, скажем, 70 миллиардов это разные задачи для памяти и вычислений.

Финансирование: Kog привлёк посевной раунд (seed), который соинвестировал фонд Varsity VC. Стартап также поддержан облачным провайдером Scaleway, государственным инвестбанком Bpifrance и программой French Tech 2030. Раунд Series A основатель планирует поднять после демонстрации на крупной модели в сентябре.

Как попробовать?

1. Следите за обновлениями Kog. Модель Laneformer 2B уже в открытом доступе. Техническое превью движка KIE доступно, но ориентировано на владельцев серверных GPU (AMD MI300X, Nvidia H200), а не пользовательских видеокарт.
2. Оцените свои задачи. Если вы используете Claude Code или подобные инструменты генерации кода и тратите часы на ожидание, следите за сентябрьским релизом Kog для крупных моделей.
3. Для тестов с локальными моделями в России используйте существующие инструменты оптимизации GPU: llama.cpp, vLLM, Ollama. Они не дают тридцатикратного ускорения, но заметно снижают время отклика на потребительских видеокартах.

Что из этого доступно в России?

Движок Kog ориентирован на серверные GPU в западных дата-центрах и пока не предлагает доступ для российских пользователей. Прямого аналога KIE в России нет.

Из доступных вариантов для тех, кто работает с нейросетями локально или через облако:

• YandexGPT и GigaChat работают через API и не требуют от пользователя думать об оптимизации GPU: вычисления на стороне провайдера. Скорость ответов зависит от нагрузки серверов.
• Локальные модели через Ollama или llama.cpp позволяют запускать открытые модели на собственном оборудовании и частично управлять оптимизацией GPU, но глубина настройки несравнима с тем, что обещает Kog.

Для аудитории в РФ главный практический вывод: оптимизация GPU на программном уровне пока остаётся экспериментальной и недоступной «из коробки», но сам тренд важен, потому что снижение стоимости инференса рано или поздно отразится на ценах облачных API, которыми пользуются и российские сервисы.

Частые вопросы

Можно ли использовать Kog на домашней видеокарте?

Нет. Демонстрация проводилась на серверных GPU (AMD MI300X, Nvidia H200). CEO Kog подтвердил TechCrunch, что на пользовательские видеокарты в ноутбуках технология пока не распространяется.

В чём отличие Kog от Cerebras?

Cerebras выпускает собственные специализированные чипы для ИИ. Kog не производит оборудование, а оптимизирует работу существующих GPU на программном уровне, вплоть до ассемблерного кода. Подходы решают одну задачу (ускорение инференса), но разными путями.

Когда ждать результат на больших моделях?

По словам основателя Kog Гаэля Делалло, первую крупную модель с десятикратным ускорением компания планирует показать в сентябре 2025 года.