Открой нейросеть на 340M параметров: GLiNER2.5-Decide классифицирует на CPU за 167 мс

---

Fastino Labs выпустила GLiNER2.5-Decide, открытую модель на 340 миллионов параметров, которая принимает решения внутри агентных конвейеров и работает на обычном процессоре без GPU и без облака.

Откуда взялась и зачем нужна?

GLiNER2.5-Decide выпущена компанией Fastino Labs, а не Яндексом, как может показаться из заголовка. Модель построена на энкодере DeBERTa-v3-large и дообучена (обучение модели на узких задачах поверх базовых знаний) на основе gliner2-large-v1.

Модель решает конкретную проблему: внутри агентных пайплайнов постоянно нужны быстрые суждения. Куда направить запрос, какой инструмент вызвать, безопасен ли промпт (текстовая инструкция для ИИ). Обычно для этого вызывают большую языковую модель, что дорого и медленно. GLiNER2.5-Decide делает это без генерации текста и без промпт-шаблонов.

Что нового?

• Не генерирует, а классифицирует. Модель не пишет текст. Она получает текст и схему с вопросами, возвращает структурированные ответы с вероятностями, оценкой уверенности и метаданными о допустимости.

• Совместное декодирование. Обычный классификатор может одновременно сказать, что промпт опасен (0.82) и безопасен (0.52). Совместное декодирование применяет правило: если обнаружена угроза, итоговый вердикт «небезопасно». Ответы не противоречат друг другу.

• Схемы задаются при вызове. Не нужно дообучать модель под новую задачу. Набор допустимых меток передаётся прямо в запросе: одна метка, несколько, порядковая шкала. Схемы поддерживают инструкции, примеры и правила связей между ответами.

• Работает на CPU. При коротких запросах (64 токена) медианная задержка на 48-ядерном Intel Xeon Platinum 8581C составляет 167.3 мс. На NVIDIA V100 это 38.3 мс, на A100 это 47.3 мс. Разница между GPU при коротких запросах минимальна из-за фиксированных накладных расходов.

• Результаты бенчмарка. На внутреннем наборе Fast Decisions (5 100 примеров, 17 датасетов) модель показала 60.1% средней точности по exact-match и лидировала в 9 из 17 задач. Маршрутизация намерений была самой сильной областью: 75.3% на задаче поддержки и 64.3% на банковских намерениях.

Как попробовать?

1. Установите библиотеку командой pip install gliner2. Открытые веса доступны на странице модели fastino/GLiNER2.5-Decide (Hugging Face).

2. Загрузите модель в коде:

from gliner2 import AutoExtractor
model = AutoExtractor.from_pretrained("fastino/GLiNER2.5-Decide")

1. Вызовите классификацию, передав текст и схему меток. Например, для определения намерения, срочности и маршрута:

model.classify_text(
    "Подтвердите, что новое правило хранения применено до аудита в пятницу.",
    {
        "intent": ["fyi", "request", "approval", "complaint"],
        "urgency": ["low", "normal", "high", "critical"],
        "route": ["support", "billing", "legal", "security"],
    },
)

1. Для мультиязычных задач Fastino Labs предлагает GLiNER2.5-multi-Decide (287M параметров, 56.7% на том же бенчмарке). Для задач, требующих большей ёмкости, есть GLiNER2.5-Decide-1B на энкодере Ettin 1B (59.6%). Дообучение возможно локально, в том числе через LoRA (метод дообучения, при котором меняется малая часть параметров).

GLiNER2.5-Decide и российские альтернативы: что выбрать?

Модель GLiNER2.5-Decide решает задачу, которую в России обычно закрывают вызовами YandexGPT или GigaChat. Но сравнивать их напрямую некорректно: YandexGPT и GigaChat генерируют текст, а GLiNER2.5-Decide только классифицирует.

Главное различие для практика: когда вам нужно маршрутизировать запрос или проверить безопасность промпта, вы можете вместо вызова облачного API открыть нейросеть GLiNER2.5-Decide локально, на своём сервере, без отправки данных наружу. Это критично для компаний, работающих с персональными данными или в закрытых контурах.

Если же вам нужно сгенерировать ответ клиенту или написать текст, GLiNER2.5-Decide не подойдёт. Это не замена генеративных моделей, а дополнение к ним.

Частые вопросы

Нужен ли GPU для работы с GLiNER2.5-Decide?

Нет. Модель работает на CPU с медианной задержкой 167.3 мс при коротких запросах (64 токена, по данным Fastino Labs). GPU ускоряет обработку примерно в 3-4 раза, но для многих сценариев маршрутизации и фильтрации CPU достаточно. Модель также работает в изолированных средах без доступа к интернету.

Подходит ли модель для русского языка?

Базовая GLiNER2.5-Decide обучена преимущественно на английских данных. Для мультиязычных задач Fastino Labs выпустила отдельную версию GLiNER2.5-multi-Decide на 287 миллионов параметров. Её точность на общем бенчмарке ниже (56.7% против 60.1%), но она рассчитана на работу с несколькими языками. Подробных результатов именно по русскому языку источник не приводит.

Чем это отличается от обычного вызова ChatGPT или YandexGPT для классификации?

GLiNER2.5-Decide не генерирует текст. Она возвращает только метку из заранее заданного набора с вероятностью и оценкой уверенности. Это быстрее, дешевле и предсказуемее, чем просить генеративную модель «выбрать один из вариантов». Нет риска галлюцинации (когда ИИ уверенно выдумывает то, чего не было), потому что модель физически не может выдать ответ за пределами заданной схемы.

Модель бесплатна, весит немного по меркам индустрии и запускается без облака. Для российских команд, которые строят агентные системы на своих серверах, это практичный компонент, а не замена всего стека.