Mellum2 новая модель JetBrains с архитектурой MoE

Mellum2 продолжает линейку JetBrains Mellum, начинавшуюся как модель автодополнения кода. Новая версия расширена до обработки естественного языка и задач программной инженерии, но намеренно не включает мультимодальные (работа с картинками, звуком) возможности. Специализация позволила сохранить компактность и скорость инференса (процесс, при котором модель генерирует ответ). Источник технического отчёта с архитектурой, бенчмарками и методологией оценки опубликован на arxiv.org.

Что именно измеряли и как устроена модель?

Архитектура Mixture of Experts устроена так: внутри модели живут несколько «экспертных» блоков, но на каждый входящий токен активируется только часть из них. Представьте офис, где 12 специалистов сидят за столами, но на конкретный вопрос клиента отвечают только двое-трое профильных, остальные не тратят время. Это даёт полную «ёмкость» знаний всей сети при затратах вычислений лишь на малую долю параметров.

JetBrains обучила Mellum2 с нуля на данных естественного языка и кода. В техническом отчёте команда оценивала модель на бенчмарках генерации кода, рассуждений, научных задач и математики, сравнивая с открытыми моделями сопоставимого размера.

Модель намеренно не обучали на изображениях, аудио и видео. Это осознанный выбор: узкая специализация на тексте и коде позволяет держать размер и скорость на уровне, пригодном для продакшн-нагрузок в реальном времени.

Что обнаружили?

• 2,5 млрд активных параметров из 12 млрд. На каждый токен модель задействует примерно пятую часть своих весов, что резко снижает требования к вычислительным ресурсам при генерации.
• Более чем двукратное ускорение инференса. По данным JetBrains, Mellum2 обрабатывает запросы быстрее, чем открытые модели аналогичного размера, при сопоставимом качестве на бенчмарках.
• Четыре ключевых сценария использования. JetBrains выделяет маршрутизацию и оркестрацию запросов в мультимодельных системах, RAG-пайплайны (Retrieval-Augmented Generation, генерация с опорой на найденные документы), работу в качестве подагента внутри агентных систем, а также приватное развёртывание на собственных серверах с проприетарным кодом.
• Лицензия Apache 2.0. Это одна из самых свободных открытых лицензий: можно использовать коммерчески, модифицировать и встраивать в продукты без отчислений.

Отдельно JetBrains формулирует концепцию «фокусной модели»: быстрой, точно ограниченной в задачах модели, которая закрывает высокочастотные операции внутри более крупной ИИ-системы. Цель не заменить все модели в стеке, а сделать этот стек быстрее и дешевле.

Что это значит для вас?

Разработчикам и авторам, работающим в российских IDE. Mellum2 под Apache 2.0 можно встроить в любую среду разработки без лицензионных ограничений. Для тех, кто использует продукты JetBrains (IntelliJ IDEA, PyCharm, WebStorm), появляется модель от того же вендора, оптимизированная под код. Важно: на момент публикации JetBrains не объявляла о встроенной интеграции Mellum2 в свои IDE, модель доступна для скачивания на HuggingFace.

Компаниям в РФ и СНГ с требованиями к приватности. Активация только 2,5 млрд параметров на токен означает, что модель можно запустить на относительно скромном железе. Для организаций, которым запрещено отправлять код и внутренние документы в облака зарубежных провайдеров, это рабочий вариант локального ИИ-ассистента.

Авторам Дзена и контент-маркетологам. Модель обучена и на естественном языке, хотя основной фокус на коде. Для генерации и суммаризации текстов на русском языке JetBrains не приводит отдельных бенчмарков. Если вам нужен именно текстовый помощник на русском, стоит дождаться независимых тестов или попробовать самостоятельно. Из доступных в РФ аналогов для текстовых задач по-прежнему ближе YandexGPT и GigaChat.

Скачать модель и попробовать можно на странице коллекции JetBrains на HuggingFace. Лицензия Apache 2.0 позволяет запустить её на своём сервере за вечер, и это, пожалуй, лучший способ проверить, подходит ли Mellum2 под ваши задачи, а не верить бенчмаркам на слово.

По материалам HuggingFace