Mistral AI выпустила модель безопасности на 3 млрд параметров: модерация без переобучения

До сих пор большинство моделей безопасности жёстко зашивали категории запрещённого контента в свои веса: чтобы адаптировать такую модель под новый продукт, её приходилось переобучать. Один и тот же текст может быть нормой для платформы по кибербезопасности и нарушением для приложения психологической помощи. Mistral AI, по данным официальной публикации, перевернула подход: оператор формулирует политику как вопрос с ответом «да/нет», а модель возвращает числовую оценку безопасности за один проход. По заявлению Mistral AI, Shieldstral построена на базе Ministral-3B-Base-2512 с визуальным энкодером Pixtral.

Как устроена проверка контента одним вопросом?

Классические системы модерации работают по фиксированному каталогу категорий вреда: насилие, ненависть, сексуальный контент и так далее. Каждая категория зашита в веса модели. Хочешь убрать одну категорию или добавить новую, переобучай модель заново.

Shieldstral сводит всё к одному бинарному вопросу. Оператор заполняет три поля в промпте:

• Контекст и строгость (поле Instruct): насколько жёстко проверять и в каком контексте.
• Политика (поле Query): один вопрос с ответом «да/нет», например «Содержит ли текст инструкции по причинению вреда?»
• Документ (поле Document): сам контент, текст, ответ модели, изображение с подписью или их комбинация.

Модель выдаёт ровно один токен (минимальная единица текста для нейросети), «да» или «нет», и числовой балл уверенности. Если балл выше 0,5, контент считается нарушающим политику. Если балл пограничный, его можно отправить на ручную проверку вместо автоматической блокировки.

Для широкой оценки «безопасно / небезопасно» Mistral AI рекомендует перечислить все нужные категории в поле контекста и задать один общий вопрос. Одна политика на один вызов.

Откуда взялась точность без масштаба?

По данным Mistral AI, секрет не в размере модели, а в данных. Обучающий набор составил 54,1 млн примеров:

• 45,2 млн текстовых примеров из открытых источников.
• 4,4 млн синтетических контрастивных текстовых пар.
• 4,5 млн мультимодальных (текст плюс изображение) примеров.

Контрастивная генерация, самая любопытная часть. Нейросеть берёт безопасный текст и переписывает его в небезопасный вариант, нарушающий конкретную категорию, но намеренно не затрагивающий соседние. Так модель учится отличать, какая именно политика нарушена, а не просто делить контент на «хорошо» и «плохо».

Дообучение выполнено методом LoRA (лёгкая настройка без полного переобучения) с последующим трёхсторонним объединением весов: 60% публичные и сгенерированные данные, 30% только публичные, 10% Ministral-3B-Instruct.

Где модель сильна и где проседает?

По текстовой безопасности Shieldstral набрала 84,9% F1, что совпадает с результатом GPT-OSS-Safeguard-20B, модели в шесть с лишним раз крупнее. По отдельным бенчмаркам: ToxicChat 84,1%, HarmBench 99,4%, Aegis v2 (ответы) 87,2%.

По мультимодальной безопасности результат 83,8% против 77,6% у OmniGuard-7B. На бенчмарке VLGuard модель показала 97,7%, на UnsafeBench 81,8%.

По адаптивности, способности работать с категориями, которых не было при обучении, Shieldstral набрала 91,3% F1. Это ниже, чем у GPT-OSS-Safeguard-20B (94,1%) и Nemotron-3.5-Safety-4B (91,8%), но Shieldstral не генерирует цепочку рассуждений, а значит работает быстрее.

Слабые места компания назвала сама:

• Многоязычная классификация хуже на арабском и индонезийском.
• На промптах бенчмарка RTP-LX результат 70,3% против 86,1% у Nemotron-3.5-Safety-4B.
• Сниженная надёжность на состязательных или намеренно запутанных промптах и очень длинных документах.

Что это значит для вас?

Автору Дзена. Если вы строите канал с пользовательскими комментариями или чат-ботом, Shieldstral позволяет фильтровать входящий контент локально, без подписки на внешний сервис модерации. Политику можно переключить промптом: сегодня строже к медицинским советам, завтра мягче к обсуждению финансов.

Маркетологу. Для проверки рекламных креативов, изображений с текстом, мемов, пользовательского контента в кампаниях, одна модель вместо набора правил. Непрерывная шкала оценки позволяет не блокировать пограничный контент наглухо, а маркировать его для ручного просмотра.

Предпринимателю в РФ и СНГ. Модель работает на одной видеокарте с 16 ГБ памяти, развёртывается локально, лицензия Apache 2.0 разрешает коммерческое использование. Для стартапа без контракта с модерационным вендором это способ запустить контроль контента на собственном сервере. Из инструментов запуска: vLLM (от версии 0.26.0), llama.cpp через GGUF-конвертацию, SGLang, Transformers. Из доступных в РФ аналогов для сравнения подхода: YandexGPT и GigaChat имеют встроенные фильтры, но не позволяют менять политику промптом.

Shieldstral не заменит полноценную команду модерации, но даёт инструмент, который раньше требовал либо крупной модели, либо платной подписки, а теперь запускается на одном GPU и настраивается одним промптом.

По данным Mistral AI