GPT-6 Astra вручную изменила 131 072 веса в Qwen без обучения: AMC23 вырос с 0,5 до 23,4

Веса нейросети, это миллионы чисел, в которых хранится всё, чему она научилась. Чекпойнт, это сохранённый файл с этими числами, как снимок модели на конкретный момент. Четверо исследователей из MIT CSAIL (лаборатория информатики и ИИ Массачусетского технологического института) выложили пост «Sparks of Weight-Space Programming», а автор с РТУ МИРЭА разобрал его, скачал оба чекпойнта и сравнил их сам.

Что Astra сделала с Qwen3.5-0.8B?

По данным поста, Astra получила открытую модель Qwen3.5-0.8B (24 слоя, около 0,8 млрд весов, режим рассуждений включён) и задачу: сделать её лучше в математике. Условия были жёсткими:

• только процессор компьютера, без видеокарты, и не больше 300 запусков кода;
• никакого обучения: запрещены градиенты (автоматическая подстройка весов под ошибку) и оптимизаторы;
• для тренировки 7 469 задач из GSM8K и 7 275 из MATH, тестовые задачи Astra не видела;
• три запуска с бюджетом 10, 25 и 50 прогонов модели.

Astra начала с диагностики. Из первых 96 ответов базовой модели 85 упёрлись в лимит 32 768 токенов (токен, это кусочек слова, которым модель считает текст): модель зацикливалась, о чём предупреждает и карточка Qwen.

Затем Astra нашла направление во внутреннем сигнале модели, которое слои 15 и 19 записывают при зацикливании, и вычла его из 64 выходных столбцов матрицы down_proj в каждом из двух слоёв. Получилось 131 072 веса, 0,016% модели. После правки на AMC23 результат вырос с 0,5 до 23,4, на GPQA Diamond с 22,7 до 36,6.

Независимую проверку провёл Ahsen Khaliq из Hugging Face. Он пересобрал чекпойнт из логов и прогнал MATH-500: вышло 51,0%, в лимит упёрлись 31,6% ответов.

Правка не убирает направление, а разворачивает его

Здесь начинается вклад самого автора разбора. Он сравнил базовую и отредактированную модели побитово и пишет, что правка не сводится к «убрать направление»: коэффициент там около 6, и знак компоненты переворачивается.

Отдельная деталь из логов: три запуска дали три разные правки. При 10 прогонах Astra правила 30 матриц в слоях с 8 по 22, при 25 обнулила одну «голову внимания» (узел, который решает, на какие слова смотреть) в слое 15, при 50 получилась та самая правка на 64 столбца.

Что понадобится, чтобы повторить сравнение?

• базовая Qwen3.5-0.8B и опубликованный отредактированный чекпойнт;
• Python и умение запустить готовый скрипт;
• обычный компьютер: модель маленькая, для сравнения файлов видеокарта не нужна;
• около часа, если Python уже установлен.

Как сравнить чекпойнты по шагам?

1. Прочитайте пост авторов и манифест итоговой правки в открытых логах: там указано, какие слои меняли.
2. Скачайте оба чекпойнта в разные папки.
3. Запустите сравнение всех тензоров (таблиц весов) по именам:

from safetensors.torch import load_file
base = load_file("base/model.safetensors")
edit = load_file("edited/model.safetensors")
total = 0
for name in base:
    n = int((edit[name] != base[name]).sum())
    if n:
        print(name, n)
        total += n
print("Всего изменено:", total)

1. Если модель разбита на несколько файлов, загрузите каждый и пройдитесь по всем.
2. Сверьте итог с цифрой из поста и посмотрите, в каких слоях и столбцах лежат изменения.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: это готовая тема для разбора с цифрами, но держите формулировки точными. Модель не «поумнела», она перестала застревать в петле: из 579 спасённых задач 576 раньше обрывались по лимиту.

Маркетологу: готового продукта здесь нет, это исследование. Полезный вывод другой: громкие заявления про ИИ проверяются, если веса открыты.

Предпринимателю в РФ и СНГ: Qwen распространяется с открытыми весами, их можно скачать и запускать на своём сервере. О доступе к самой GPT-6 Astra в разборе не сказано.