Julia 1: открытые модели нейросетей теперь работают на процессоре за $104

Открытые модели нейросетей обычно требуют мощных видеокарт или облачных серверов. Supersonic Labs пошла другим путём: выпустила модель со 144,3 миллиона параметров, которая запускается на обычном процессоре ноутбука. Веса опубликованы на Hugging Face под лицензией Apache 2.0, то есть можно использовать бесплатно, в том числе в коммерческих проектах. Источник: карточка модели на Hugging Face и публикация Supersonic Labs.

Что умеет Julia 1 и чем отличается от чат-ботов?

Julia 1 не пишет тексты и не ведёт диалог. Она решает три типа задач через один интерфейс:

• Выбор (choice). Вы даёте от 2 до 20 вариантов ответа с описанием, модель выбирает лучший и показывает вероятность каждого. Пример: классификация писем по темам или маршрутизация запросов пользователей.
• Оценка по шкале (score). Модель возвращает ожидаемый индекс на упорядоченной шкале, например «низкий, средний, высокий».
• Да или нет (noul). Модель возвращает вероятность того, что утверждение истинно.

Результат приходит с полным распределением вероятностей (softmax) по всем вариантам. Модель не генерирует свободный текст, а значит, у неё нет галлюцинаций (ситуации, когда нейросеть уверенно выдумывает несуществующее).

На чём построена и сколько стоило обучение?

Архитектура основана на mmBERT-small от JHU CLSP, мультиязычном энкодере (модели, которая «читает» и понимает текст, но не генерирует его) со 140 миллионами параметров, обученном на более чем 1 800 языках. Supersonic Labs сохранила энкодер и токенизатор, добавила «голову» для принятия решений и обучила на специальных примерах.

Разработчики отдельно подчеркнули: Julia 1 не является дообученной (fine-tuning, обучение готовой модели на ваших примерах под узкую задачу) версией Qwen или другой генеративной модели. Весь расход на облачные видеокарты при обучении составил около 540 бразильских реалов, то есть 104 доллара, по данным самой лаборатории. Веса в формате FP32 занимают 550,5 мегабайт.

Модель поддерживает до 8 192 токенов (токен, это единица текста, примерно одно слово или часть слова), хотя опубликованные тесты проводились с лимитом 1 024 токена.

Как показала себя на тестах?

Оценка от 24 сентября 2026 года проводилась на видеокарте H200 в режиме BF16. Для сравнения использовались референсные значения модели Jev от TypeSafe, взятые из протокола бенчмарка Jev, а не из нового прогона:

• Typed Decisions: 73,15% (Julia 1) против 72,70% (Jev)
• AG News, 4 категории: 94 из 100 против 91%
• DAIR Emotion, 6 эмоций: 86 из 100 против 48%
• Banking77, 72 категории: 64 из 100 против 87%, явный провал

Каждый пилотный тест использовал только 100 примеров. Повторный прогон на процессоре 25 сентября показал близкие результаты: 72,55% на Typed Decisions и 60 из 100 на Banking77.

Вывод прямой: при небольшом числе категорий модель работает на уровне или лучше конкурента, но при 72 категориях существенно уступает.

Скорость на реальных устройствах

• Apple M4: 33,15 мс на одно решение (медиана)
• Samsung SM-X510 (планшет), через ONNX Runtime: 203 мс, пиковое потребление памяти 393 мегабайта
• Intel Core i5-1235U (ноутбук): 107,83 мс для AG News (4 категории), 3 713 мс для Banking77 (72 категории, предварительная фильтрация)

Supersonic Labs заявили в соцсети X, что Julia 1 классифицирует в 5 раз быстрее, чем Jev на ноутбуке с i5. Но здесь важен контекст: Jev тестировался как облачный сервис с вызовом из Франции, то есть сравнение задержек не является корректным «лоб в лоб».

Как попробовать?

1. Установите Python версии 3.11 или новее.
2. Скачайте веса модели со страницы Julia 1 на Hugging Face.
3. Запустите локально на процессоре или, при наличии, на видеокарте с поддержкой BF16. Также доступна сборка ONNX/WebGPU, которая работает прямо в браузере.
4. Подготовьте задачу в формате «контекст, вопрос, варианты ответов» и вызовите один из трёх режимов: choice, score или noul.

Hosted API (облачный интерфейс) анонсирован, но пока не открыт.

Сравнение с инструментами, доступными в России

Прямых аналогов Julia 1 среди российских сервисов нет: YandexGPT и GigaChat, это генеративные модели (чат-боты), а Julia 1, классификатор решений. Но задачу классификации текстов можно решать и через YandexGPT или GigaChat, задавая промпт (prompt, текстовая инструкция для нейросети) с вариантами ответов.

Разница в том, что Julia 1 работает локально, без интернета и без подписки. Для российских разработчиков, у которых ограничен доступ к облачным GPU и высоки тарифы на инференс (inference, процесс получения ответа от модели), это практичный вариант: обучить стоит около 100 долларов, а запускать можно хоть на офисном ноутбуке.

Что делать с этим прямо сейчас, по ролям?

Автору на Дзене. Если вы классифицируете входящие комментарии, сортируете письма или хотите автоматически распределять темы по рубрикам, Julia 1 делает это локально и бесплатно при числе категорий до 20.

Разработчику и маркетологу. Модель подходит для маршрутизации пользовательских запросов, скоринга лидов по шкале, бинарной оценки «да/нет». Всё на процессоре, без аренды серверов с GPU.

Предпринимателю в РФ. Лицензия Apache 2.0 разрешает коммерческое использование. Данные остаются на вашем устройстве, ничего не уходит в облако. При текущих ограничениях на импорт видеокарт, работа на CPU, не обходной путь, а прямое преимущество.

Частые вопросы

Julia 1 может заменить ChatGPT?

Нет. Julia 1 не генерирует текст. Она выбирает из вариантов, которые вы ей дали. Если нужен чат-бот, это другой класс инструментов. Если нужно рассортировать 100 заявок по 10 категориям, Julia 1 сделает это быстрее и дешевле.

Нужна ли видеокарта?

Нет. Модель работает на обычном процессоре. Видеокарта с поддержкой BF16 ускорит работу, но не обязательна. Есть также сборка для браузера через WebGPU.

Можно ли использовать в коммерческом проекте?

Да. Лицензия Apache 2.0 разрешает коммерческое использование, модификацию и распространение без ограничений. Обучающий пайплайн (конвейер подготовки данных) не опубликован, но сами веса открыты.

Julia 2 с собственной архитектурой уже в разработке, а пока 550 мегабайт весов и процессор любого рабочего ноутбука, это всё, что нужно, чтобы проверить, закрывает ли открытая модель нейросетей вашу задачу классификации без единого рубля на облако.