GLM 5.3 вышла на второе место в Terminal Bench, наращивая качество без роста параметров

Результаты GLM 5.3 опубликовал профессор Цзе Тан, руководитель проекта, в серии постов 18 августа. По данным независимых бенчмарков, которые приводит Latent Space, модель заняла второе место на Terminal Bench, третье на Legal Bench и шестое на Skills Bench среди всех моделей с открытыми весами (open weights, когда разработчик публикует параметры модели и любой может её запустить у себя). Это заметный скачок по сравнению с предыдущей GLM 5.2, которую тот же источник ранее отмечал как сильного участника «ценностного фронтира» на Agent Arena, рейтинге ИИ-агентов.

Пять «ручек настройки» вместо гонки параметров

Профессор Цзе Тан сформулировал тезис, который меняет привычное восприятие размера модели. Количество параметров имеет смысл только вместе с тремя другими величинами: объёмом данных, распределением вычислений и условиями, в которых модель будет работать.

Источник выделяет пять «ручек масштабирования», включая разреженность MoE (Mixture of Experts, архитектура, где модель активирует только часть своих «экспертов» на каждый запрос) с новой нотацией XA-YB. Ключевое наблюдение: сложные навыки вроде поиска уязвимостей в коде не сводятся к запоминанию. Они требуют выстраивания длинных причинно-следственных цепочек (20 и более шагов инференса, то есть рассуждения модели) без потери нити. Эта способность не растёт от простого увеличения числа параметров после того, как достигнут определённый порог «хранения знаний».

Прежние законы масштабирования Chinchilla (правила 2022 года, определявшие оптимальное соотношение параметров и данных) оказались неточны в эпоху, когда модели всё больше рассуждают на этапе инференса. По данным Roberts et al., которые цитирует источник, оптимальное число токенов (единиц текста, которые модель обрабатывает) на параметр варьируется от 200 до 900 в зависимости от задачи. Фиксированного «правильного» числа не существует.

Как синтетические среды заменяют ручную разметку?

Главный прирост GLM 5.3 получен исключительно из обучения с подкреплением (RL, reinforcement learning, когда модель учится через пробы и ошибки в среде с обратной связью) в долгих синтетических сценариях. Вот что это означает на практике:

• Среды воспроизводят реальную инженерную работу. Модели дают то же рабочее окружение, что и инженеру: доступ к вычислительным кластерам, системам хранения, внутренней документации, кодовым базам и результатам экспериментов. Задача может занимать несколько дней работы опытного специалиста.
• Пример задачи: оптимизация ML-инфраструктуры. Модель должна диагностировать узкие места во всём стеке обучения, реализовать оптимизации, провести эксперименты и выдать измеримое сквозное ускорение, сохранив корректность результата.
• Цель: модель берёт на себя задачу целиком. Тренировка на средах такого уровня подталкивает модель к самостоятельному ведению работы от начала до конца, без того чтобы пользователь декомпозировал проблему и контролировал каждый шаг.

Синтетика «до самого дна»

Весь процесс создания сред, проверки и вознаграждения тоже синтетический, без ручного труда:

• Исследовательские ИИ-агенты собирают паттерны задач из реальной работы и превращают их в запускаемые долгие среды с многошаговыми зависимостями и скрытым состоянием.
• Агент-судья проверяет каждую задачу на решаемость.
• Верификаторы создаются без доступа к эталонному решению. Траектории решателей используются для обнаружения и закрытия «лазеек в наградах» (когда модель находит короткий путь, не решая задачу по существу).
• Верификатор, прошедший проверки на эталон, бездействие и нерешённое состояние, даёт бинарную награду, достаточно надёжную для прямого обучения.

Профессор Тан отмечает, что по мере роста агентных способностей основная сложность масштабирования постобучения смещается с модели на среду.

Как попробовать GLM 5.3?

1. Перейти на официальную страницу Zhipu AI (chatglm.cn). Модель распространяется с открытыми весами, конкретную лицензию источник не уточняет.
2. Для локального запуска потребуется серверное оборудование. Источник не называет минимальные требования, но по аналогии с моделями сопоставимого класса речь идёт о нескольких GPU.
3. Проверить актуальные результаты бенчмарков на Terminal Bench и Legal Bench, чтобы сравнить с конкурентами.

GLM 5.3 и российские аналоги: что доступно в РФ?

Для пользователей из России YandexGPT и GigaChat остаются доступнее: русскоязычный интерфейс, серверы внутри страны, поддержка на русском. Но методология GLM 5.3 (обучение в синтетических производственных средах) сама по себе представляет ценность для российских ML-инженеров, которые строят собственные пайплайны обучения.

Что делать с этим прямо сейчас, по ролям

ML-инженерам и разработчикам в РФ. Методология GLM 5.3 применима независимо от модели. Идея: создавать синтетические среды, воспроизводящие ваши производственные задачи (диагностика кластеров, оптимизация пайплайнов), и обучать на них с подкреплением. Источник подробно описывает архитектуру верификаторов, это готовый шаблон для собственных экспериментов.

Авторам Дзена и контент-маркетологам. Тренд «размер не главное» меняет угол подачи: писать про модели теперь стоит не через количество параметров, а через то, какие задачи модель способна закрыть от начала до конца. Это работает и как тема для контента, и как критерий выбора инструмента.

Предпринимателям. Открытые веса GLM 5.3 означают, что модель можно развернуть на своей инфраструктуре без подписки. Для компаний, которым важен контроль данных, это существенно. Но нужно учитывать: запуск моделей такого класса требует серьёзных GPU, а поддержка русского языка не заявлена.

Частые вопросы

GLM 5.3 работает на русском языке?

Источник не упоминает поддержку русского языка. Предыдущие модели GLM были ориентированы на китайский и английский. Для задач на русском языке пока надёжнее использовать YandexGPT или GigaChat, либо тестировать GLM 5.3 на английском.

Чем GLM 5.3 отличается от GLM 5.2?

По данным источника, основной прирост GLM 5.3 получен из обучения с подкреплением в долгих синтетических средах, воспроизводящих реальные инженерные задачи. GLM 5.2 отмечалась как сильная модель на Agent Arena по соотношению цены и качества, но конкретных числовых сравнений между версиями источник не приводит.

Можно ли запустить GLM 5.3 на обычном компьютере?

Нет. Модели такого класса требуют серверного оборудования с несколькими GPU. Точные минимальные требования источник не раскрывает. Для экспериментов без своего оборудования стоит дождаться появления квантизированных версий (уменьшенных копий модели, которые требуют меньше памяти) от сообщества.

Если методология синтетических сред вас заинтересовала, начните с малого: опишите одну свою производственную задачу как среду с входом, действиями и проверяемым результатом, и попробуйте обучить на ней даже небольшую открытую модель. Именно этот подход, а не размер модели, по данным Zhipu AI, даёт рост качества.