Игорь Градов
Игорь Градов
5 мин
ai

Правка 205 столбцов DeepSeek R1 сократила оборванные рассуждения со 139 до 16 без дообучения

Авторы метода SGNE-CC v2 перенесли правку весов с Qwen3.5-0.8B на DeepSeek-R1-Distill-Qwen-1.5B, которую многие запускают локально на слабом железе, и сократили оборванные рассуждения в математике со 139 до 16 без дообучения.

Правка 205 столбцов DeepSeek R1 сократила оборванные рассуждения со 139 до 16 без дообучения
Почему это важно

Маленькую рассуждающую модель избавили от зависаний без переобучения и без новых настроек запуска, точечной правкой 0,0177% её параметров. Тем, кто держит ИИ на своём компьютере, это даёт способ получать законченные ответы и не трогать программу, через которую модель работает.

Рассуждающая модель (reasoning model, ИИ, который перед ответом «думает вслух» внутри служебного блока <think>) DeepSeek-R1-Distill-Qwen-1.5B на 1,78 млрд параметров часто застревает. Она раз за разом перепроверяет уже найденные шаги и упирается в предел 32 768 токенов (кусочков слов, которыми модель считает текст). Так проблему описывают авторы научной работы о методе SGNE-CC v2: раньше они проверили его на гибридной Qwen3.5-0.8B (DOI 10.5281/zenodo.24235218), теперь перенесли на модель другого семейства и сократили объём правки почти в десять раз.

Что Когда Кто выпустил Цена
Правка весов SGNE-CC v2 для DeepSeek-R1-Distill-Qwen-1.5B Дату публикации источник не называет Авторы метода SGNE-CC, имена в материале не приведены Цену не указали

Что нового в правке DeepSeek R1?

  • Правят веса (числа внутри модели, в которых хранятся её навыки, вроде положения миллионов ручек на пульте). Меняют 205 столбцов в матрице mlp.down_proj, это 0,0177% параметров. Прошлая версия метода затрагивала 1 984 столбца и ещё одну строку.
  • Не нужно дообучение (fine-tuning, повторное обучение модели на примерах), не нужен штраф за повторы, не меняется код инференса (запуска готовой модели для получения ответа).
  • 135 столбцов отвечают за переносы строк в повторах, это слои с L18 по L27.
  • Ещё 70 столбцов срабатывают на точках, вопросительных и восклицательных знаках внутри повторяющихся абзацев, это слои с L19 по L27.
  • Каждый столбец поворачивают в сторону сигнала «закончить рассуждение» и сохраняют его исходную длину, чтобы не испортить обычный текст.

Сначала авторы искали, где замыкается петля. В одной из голов внимания (узлов, которые решают, на какие слова смотреть) доля внимания к условию задачи падала с 31% до 0,3%: модель переставала смотреть в задачу и читала саму себя.

Остальные части модели оставили нетронутыми. В пробных опытах более широкая правка снижала совпадение с исходной моделью на обычном тексте с 99% до 78%.

Сколько ответов перестали обрываться?

Модели сравнили на пяти бенчмарках (наборах тестовых задач): MATH-500, MBPP, HumanEval, ARC-Challenge и BBH Logic, всего 1 054 задачи. Проверяли при температуре 0 и 0,6. Температура задаёт долю случайности: при нуле модель всегда берёт самый вероятный вариант, это «жадный выбор».

  • При температуре 0 незаконченных рассуждений в MATH-500 стало 16 вместо 139, средняя длина ответа сократилась с 11 до 4,7 тыс. токенов.
  • Исправленная модель решила 74 задачи, на которых исходная ошибалась, и потеряла 19 прежних решений.
  • При температуре 0,6 незакрытых рассуждений стало 2 вместо 15, длина сократилась с 5,8 до 4,3 тыс. токенов.
  • Верных ответов при 0,6 стало 410 вместо 400, но авторы оценивают эту разницу как статистически незначимую.

Главная польза здесь в том, что ответ доходит до конца, а не в росте точности. Без 26 задач, по которым подбирали столбцы, при нулевой температуре точность выросла с 310 до 363. Наборы по программированию MBPP и HumanEval в отборе не участвовали, итоговых цифр по ним в доступном фрагменте работы нет.

Как попробовать на своём компьютере?

  1. Убедитесь, что запускаете именно DeepSeek-R1-Distill-Qwen-1.5B: метод проверяли только на ней.
  2. Поставьте рекомендованные настройки: температура 0,6 и top_p 0,95 (отсечка маловероятных вариантов). У исходной модели при них обрывов было 15, при нулевой температуре 139.
  3. Прочитайте описание метода в прошлой работе авторов, DOI 10.5281/zenodo.24235218. Ссылки на готовые исправленные веса для этой модели источник не приводит.
  4. Сравните ответы до и после правки: смотрите, закрывается ли рассуждение маркером </think>. Авторы тестировали в программе vLLM 0.34.0 с форматом BF16 (компактный способ хранить числа модели).

Подойдёт ли это для YandexGPT и GigaChat?

Из доступных в РФ аналогов, YandexGPT и GigaChat. Это облачные сервисы: вы пишете промпт на сайте, модель работает на серверах компании. Правка SGNE-CC v2 на них не проверялась и относится только к модели, которая запущена у вас на компьютере.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы считаете или проверяете факты для статей локальной моделью и ответ обрывается на середине, сначала переключитесь на температуру 0,6. Правку весов имеет смысл пробовать, когда готовые файлы появятся в открытом доступе.

Маркетологу. Короткие ответы при той же точности означают меньше ожидания и меньше нагрузки на компьютер: средняя длина при рекомендованной настройке упала с 5,8 до 4,3 тыс. токенов.

Предпринимателю из РФ и СНГ. Модель работает на вашем железе, поэтому вопрос доступа сводится к наличию файлов. Если строите на ней внутренний инструмент, закладывайте проверку, что каждый ответ закрыт маркером </think>.

Где подвох

Точность при рекомендованной настройке статистически значимо не выросла. Понижение температуры исправленной модели до 0,3 оставило всего 4 незакрытых рассуждения, но преимущества по точности над исходной моделью при 0,6 не дало. Метод проверен на двух маленьких моделях, о больших версиях DeepSeek R1 в работе речи нет.

Мнение редакции dzen.guru

На мой взгляд, это одна из самых практичных работ для тех, кто держит ИИ на домашнем ноутбуке: модель не стала умнее, но перестала бесконечно ходить по кругу. Оговорка: без опубликованных файлов обычному автору повторить правку сложно. Сегодня сделайте простое: проверьте свои настройки и поставьте температуру 0,6 вместо нуля.

Что чаще всего спрашивают про правку?

Станет ли модель отвечать правильнее?

Почти не станет. При рекомендованной настройке разница в 10 верных ответов из 500 статистически незначима. Выигрыш в том, что ответы перестают обрываться.

Нужно ли уметь программировать?

Для самой правки весов нужны технические навыки, а файлов исправленной модели источник не даёт. Сменить температуру может любой пользователь в настройках программы запуска.

Сработает ли метод на других моделях?

Авторы проверили его на Qwen3.5-0.8B и DeepSeek-R1-Distill-Qwen-1.5B, другие модели не тестировали. Если у вас именно эта 1.5B и она зависает, следите за публикацией весов: здесь правка 205 столбцов уже доказала, что умеет закрывать рассуждение там, где исходная модель ходила по кругу.

Поделиться:TelegramVK
Игорь Градов
Игорь Градов

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».

Комментарии

Читайте также

ai

ИИ сдал экзамен химика по поиску лекарств на 84,5%: прогнозы свойств пока даются хуже

Создатели теста MedChemBench проверили модели GPT на задачах химика, который ищет новое лекарство, и лучшая из них, GPT-6.2 Astra, набрала 84,5% возможных…

4 мин
Вайбкодинг вместо подписок: таблица на коде из ChatGPT принесла больше 1 млн рублей
ai

Вайбкодинг вместо подписок: таблица на коде из ChatGPT принесла больше 1 млн рублей

Предприниматель Артём Исламов, основатель Glo Academy, рассказал в интервью каналу «Shulepov Code» о Google-таблице с выручкой больше миллиона рублей, код…

4 мин
Сколько видеопамяти нужно LLM: один диалог 128K съедает 40 ГиБ, как сама 70B в INT4
ai

Сколько видеопамяти нужно LLM: один диалог 128K съедает 40 ГиБ, как сама 70B в INT4

Автор технического разбора свёл расчёт видеопамяти под языковые модели к двум формулам и показал, что сервис чаще упирается не в веса, а в KV-кэш при десятке…

5 мин