Открытые модели ИИ догоняют лидеров

Что показала проверка SaferAI?

Некоммерческая организация SaferAI протестировала китайскую открытую модель GLM-5.2 от компании Z.ai через её публичный API. Модель получала задания, связанные с наступательной кибербезопасностью и биологией двойного назначения (технологиями, которые можно использовать и в мирных, и в опасных целях).

Результат оказался полярным. GLM-5.2 не отказала ни на одном из заданий. Для сравнения: Claude Opus 4.7 от Anthropic отказывал настолько последовательно, что SaferAI не смогла завершить на нём CyberGym (бенчмарк для оценки кибератакующих способностей моделей, тот же тест OpenAI использовала перед недавним инцидентом со взломом Hugging Face).

По оценке SaferAI, GLM-5.2 отстаёт от GPT-5.5 (OpenAI) и Claude Opus 4.7 (Anthropic) по возможностям лишь на несколько месяцев. Но по безопасности разрыв не сокращается, а растёт.

Z.ai не опубликовала ни рамку безопасности, ни обязательства по предрелизному тестированию, ни оценку рисков для GLM-5.2. TechCrunch запросил у Z.ai информацию о внутренних или сторонних проверках безопасности перед выпуском, но ответа не получил.

Почему открытые веса меняют расклад рисков?

Закрытые модели (closed-source) вроде GPT или Claude используют несколько уровней защиты: классификаторы запросов, обучение на отказ от опасных заданий и контроль на уровне API (программного интерфейса). Эти меры не абсолютны: организация Far.ai обнаружила сотни универсальных джейлбрейков (способов обхода защиты, работающих на большинстве опасных запросов) в моделях Grok 4.5 от xAI и Gemini 3.1 Pro от Google DeepMind. Атаки срабатывают, когда злоумышленник комбинирует несколько приёмов: ролевую игру, имитацию авторитета, поддельную историю переписки и дожимающие промпты.

Но у закрытых моделей хотя бы есть эти барьеры. У открытых моделей ИИ с открытыми весами их нет в принципе: после скачивания весов пользователь запускает модель на собственном оборудовании и волен убрать любые фильтры, провести дообучение (fine-tuning, обучение модели на своих примерах под узкую задачу) или изменить системный промпт (системную инструкцию, определяющую поведение модели).

Граница возможностей, это не граница рисков. Чтобы корректно оценить риск, нужно учитывать и состояние мер защиты. : Генри Пападатос, исполнительный директор SaferAI

Можно ли сделать open source модели ИИ безопаснее?

Пападатос назвал один подход: фильтрацию обучающих данных (pre-training data filtering), когда из тренировочного набора убирают информацию о наступательной кибербезопасности ещё до обучения модели. Исследования показывают, что это снижает опасные биологические знания модели без ущерба для общей производительности.

С кибербезопасностью сложнее. Модель, которая отлично пишет код, почти неизбежно становится хорошим «хакером». А программирование сейчас приносит разработчикам ИИ больше всего денег, поэтому ослаблять эти способности компании не готовы.

Anthropic выбрала компромисс: Opus 5 может искать уязвимости в исходном коде, но не в скомпилированном (готовом к запуску) ПО. Логика в том, что это затрудняет наступательное использование.

Как на это смотрят в Китае?

Грэм Вебстер, исследователь китайской политики в области ИИ из Стэнфордского центра киберполитики, пояснил TechCrunch: в Китае действуют серьёзные правила регулирования ИИ, но они исторически направлены на политически чувствительный контент, дезинформацию и социальную стабильность, а не на катастрофические риски вроде кибератак или биологического злоупотребления.

Китайская система уверена, что контролирует использование этих технологий внутри страны. Пребывание в китайском интернете привязано к реальному имени, и компании, и пользователи несут ответственность. : Грэм Вебстер, Стэнфордский центр киберполитики

На Всемирной конференции по ИИ председатель КНР Си Цзиньпин подчеркнул важность открытых моделей, но при этом заявил о необходимости строгого человеческого контроля над ИИ.

Вебстер отметил, что механизмы, которые китайские модели используют для отказа обсуждать политические темы, потенциально можно адаптировать, чтобы модели отказывали и в выполнении кибератак или выдаче рецептов биологического оружия.

Что это значит для вас?

Практический шаг: если вы используете или планируете использовать открытую модель ИИ, проверьте, публиковал ли разработчик оценку рисков и рамку безопасности. Нет документации, значит, вся ответственность за последствия использования на вас. В случае GLM-5.2 такой документации на момент публикации не существует.