Le Chaton Fat и Shieldstral: Mistral отделила модерацию от модели, сократив настройку с недель до минут

Четвёртого августа Mistral опубликовала Shieldstral, компактный классификатор безопасности на 3 миллиарда параметров с открытыми весами (open weights, когда разработчик публикует обученные параметры модели и любой может её запускать) под лицензией Apache 2.0, и этот релиз обострил давний спор: должна ли политика модерации жить внутри модели или снаружи, в тексте промпта (промпт — текстовая инструкция, которую вы отправляете нейросети).

В чём суть спора вокруг Le Chaton Fat и подхода Mistral?

До сих пор охранные модели, так называемые guard-модели, работали по одной схеме: набор запрещённых категорий (насилие, оружие, самоповреждение) зашивался прямо в веса при обучении. Если ваш продукт требовал другой набор правил, модель приходилось дообучать заново. Каждый раз. Под каждый продукт.

Mistral в своём блогпосте прямо заявляет: единственно верного набора категорий безопасности не существует в принципе. Обсуждение уязвимостей — норма для платформы тестирования безопасности и катастрофа для детского чат-бота. Разговор о дозировках — рабочий инструмент медицинского ассистента и красный флаг для бота поддержки.

Shieldstral переворачивает задачу. Вместо классификации по десяткам категорий модель отвечает «да» или «нет» на один конкретный вопрос, сформулированный в промпте. Модель делает один проход, берёт логиты (числовые оценки вероятности) двух токенов — yes и no — и выдаёт непрерывный балл от 0 до 1. Порог отсечения выставляете вы сами.

По данным Mistral, модель обучена на 54,1 миллиона примеров, при этом она в семь раз меньше ближайших конкурентов и, по заявлению компании, не уступает им по качеству.

Аргументы за: почему промпт вместо весов — сильный ход?

• Одна модель на все задачи. Классификация входящих запросов, модерация ответов, детекция отказов и детекция токсичности — четыре задачи, один чекпоинт с разным текстом вопроса.

• Дешёвый инференс (инференс — момент, когда модель обрабатывает ваш запрос). Один токен на решение вместо 50 токенов цепочки рассуждений. Для продакшена, где каждый запрос и каждый ответ проходят через охранную модель, разница в стоимости кратная.

• Мультимодальность без отдельного пайплайна. Текст и картинки проходят через один интерфейс: меняется только содержимое поля Document.

• Контрастивное обучение. Авторы не просто собрали примеры «плохо/хорошо», а специально конструировали пары похожих политик и просили языковую модель переписывать безопасный текст так, чтобы он нарушал одну политику и не нарушал соседнюю. Модель училась проводить границу между близкими правилами, а не запоминать список запретных тем. Именно этот навык переносится на политики, которых в обучении не было.

Аргументы против: где подход буксует?

• Качество зависит от формулировки вопроса. Если промпт написан расплывчато, модель выдаст расплывчатый вердикт. Навык промпт-инжиниринга (prompt engineering, умение точно формулировать инструкции для нейросети) становится критическим и для безопасности, а не только для генерации контента.

• Нет гарантии полноты. Когда таксономия зашита в веса, хотя бы понятно, какие категории покрыты. Когда политика живёт в промпте, ответственность за полноту ложится на команду, и пропущенный вопрос означает пропущенную категорию вреда.

• 3 миллиарда параметров — компромисс. Компактность снижает стоимость, но и потолок понимания контекста ниже, чем у моделей на порядок крупнее. На сложных, многослойных кейсах (ирония, культурный контекст, двусмысленность) маленькая модель рискует ошибаться чаще.

• Визуальная безопасность остаётся слабым звеном. Сами авторы признают, что небезопасную картинку нельзя синтезировать так же дёшево, как небезопасный текст, и данных для обучения мало. Аугментация и реранкинг помогают, но не закрывают проблему полностью.

Определения безопасности расходятся между доменами по сути, а не по формулировкам. Единственно правильного набора категорий не существует в принципе. : Команда Mistral, блогпост к релизу Shieldstral

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если вы используете языковую модель для генерации черновиков и боитесь, что она выдаст что-то неприемлемое, Shieldstral можно поставить как фильтр между моделью и публикацией. Сформулируйте в промпте конкретные вопросы под вашу нишу: «Содержит ли текст медицинские рекомендации без оговорок?», «Есть ли призыв к противоправным действиям?». Один вопрос — один проход — один балл.

Маркетологу. Для команд, которые запускают чат-ботов или ИИ-ассистентов для клиентов, подход Mistral экономит бюджет на комплаенс. Вместо заказа дообучения под каждое изменение регуляторных требований вы переписываете текст вопроса. Это минуты, а не недели и не сотни тысяч рублей.

Предпринимателю в РФ и СНГ. Shieldstral выложена с открытыми весами под Apache 2.0, то есть её можно запускать на своём сервере без отправки данных за рубеж. Из доступных в РФ аналогов для генерации контента — YandexGPT и GigaChat, но отдельного открытого классификатора безопасности с настраиваемой политикой через промпт у российских вендоров на момент публикации нет. Shieldstral закрывает именно эту нишу.

Ближайшие месяцы покажут, подхватят ли этот подход другие лаборатории и появятся ли аналоги у российских вендоров. Пока же Shieldstral от Mistral — рабочий способ настроить модерацию ИИ под локальные стандарты без переобучения, и для тех, кто разворачивает языковые модели на своей инфраструктуре в РФ, это конкретный инструмент, который можно ставить в пайплайн уже сегодня.