Liquid AI выложила Antidoom: нейросеть для SEO-оптимизации рассуждений перестаёт зацикливаться

Liquid AI 10 июня опубликовала Antidoom, открытый метод, который находит и устраняет зацикливание рассуждающих нейросетей на повторяющихся фрагментах текста, повышая точность на математике и коде без переобучения модели целиком.

Что решает Antidoom и как он работает?

Когда рассуждающая модель (reasoning model, нейросеть, которая «думает вслух», выстраивая цепочку шагов) решает сложную задачу, она может попасть в так называемую «петлю обречённости» (doom loop). Это когда модель генерирует фрагмент текста, а потом повторяет его снова и снова, пока не заполнит всё доступное окно контекста. Ответа пользователь не получает, только стену повторов.

По данным Liquid AI, малые модели особенно уязвимы. На раннем чекпоинте их модели LFM2.5-2.6B (2,6 млрд параметров) 10,2% ответов на сложных промптах по математике и коду превращались в зацикленные повторы. После применения Antidoom доля упала до 1,4%.

Компания также проверила метод на модели Qwen3.5-4B (4 млрд параметров): там зацикливание снизилось с 22,9% до 1%, по данным Liquid AI. Оценки качества на бенчмарках выросли, и команда прямо указывает, что весь прирост объясняется именно устранением петель, а не новым обучением математике или коду.

Три причины зацикливания

Liquid AI выделяет три механизма, которые работают вместе:

• Переобученные токены плюс неуверенность модели. Некоторые токены (минимальные единицы текста, которые модель генерирует по одному) встречаются в обучающих данных (training data) слишком часто. Примеры из практики: слова «delve», «testament». В рассуждениях такими «магнитами» становятся маркеры вроде «Wait» или «Alternatively». Когда модель не уверена в следующем шаге, она цепляется за эти привычные слова.
• Контекст усиливает петлю. Каждый повтор поднимает вероятность всех токенов в повторяющемся фрагменте. Семантический повтор начинается раньше, чем текстовый, и это хорошо задокументировано в работе Duan и коллег о «V-образном» паттерне внимания.
• Жёсткая выборка. Рассуждающие модели обычно работают при низкой «температуре» (параметр случайности: чем ниже, тем предсказуемее ответ). При температуре 0 модель всегда выбирает самый вероятный токен, и петля не имеет выхода. Liquid AI отмечает заметное зацикливание даже при температуре 0,67.

Antidoom бьёт в одну точку

Метод не меняет модель целиком. Вот что он делает:

• Генерирует ответы на специально подобранном наборе промптов (датасет «LiquidAI/antidoom-mix-v1.0», опубликован в открытом доступе), провоцирующих зацикливание.
• Находит точный токен, с которого начинается первый повтор. Правило обнаружения простое: фрагмент повторяется минимум 4 раза и занимает не менее 60 символов.
• Берёт из базовой модели до 20 альтернативных токенов для этой позиции, отфильтровывая шум.
• Обучает модель предпочитать эти альтернативы вместо «плохого» токена с помощью алгоритма FTPO (Final Token Preference Optimization, оптимизация предпочтений по финальному токену). FTPO похож на DPO (Direct Preference Optimization), но работает только с одним токеном за раз и распределяет вероятность между несколькими заменами, а не переносит вес на одну.

Обучение занимает один проход (эпоху) с использованием LoRA (метод дообучения, при котором изменяется малая часть параметров модели). По данным Liquid AI, ранги LoRA 128-256 дали лучшие результаты. Весь процесс укладывается в несколько часов.

Как попробовать?

1. Откройте репозиторий Liquid AI на GitHub: код и датасет выложены в открытый доступ.
2. Скачайте датасет «LiquidAI/antidoom-mix-v1.0» и подготовьте свою малую рассуждающую модель.
3. Запустите пайплайн Antidoom: одна эпоха дообучения (fine-tuning) с LoRA на вашем GPU. По данным Liquid AI, процесс занимает несколько часов.
4. Проверьте результат на своих сложных промптах по математике или коду, сравнив долю зацикленных ответов до и после.

Есть ли аналоги в России?

Прямого аналога Antidoom среди российских инструментов на момент публикации нет. YandexGPT и GigaChat используют собственные методы контроля качества генерации, но публичных данных о специальных механизмах борьбы с зацикливанием рассуждений эти компании не раскрывали.

Для русскоязычных разработчиков, которые дообучают малые открытые модели (Qwen, LLaMA и подобные) под задачи на русском, Antidoom может оказаться полезен напрямую: метод работает на уровне токенов и не зависит от языка задачи.

Что это значит для вас, по ролям?

Автору на Дзене. Если вы используете локальную нейросеть для SEO-оптимизации текстов, генерации черновиков или проверки структуры, малые модели иногда «зависают» на повторах. Antidoom снижает этот риск. Пока метод требует технической подготовки, но его появление в опенсорсе означает, что скоро он может войти в готовые инструменты.

Разработчику и техническому маркетологу. Если вы встраиваете рассуждающую модель до 4 млрд параметров в продукт, Antidoom решает конкретную проблему надёжности: зацикливание на сложных запросах. Применить можно за часы, не за недели.

Предпринимателю в РФ и СНГ. Метод открытый и бесплатный. Для компаний, которые запускают ИИ-сервисы на малых моделях из-за ограничений бюджета или инфраструктуры, это способ поднять качество без увеличения размера модели. Нейросеть для SEO-оптимизации на малых параметрах становится надёжнее.

Частые вопросы

Antidoom учит модель новой математике или коду?

Нет. По данным Liquid AI, метод не добавляет модели новых знаний. Он убирает зацикливание, которое мешало модели выдать ответ, который она уже «знала». Весь прирост на бенчмарках объясняется снижением доли петель.

Нужен ли мощный GPU для запуска?

Liquid AI указывает, что весь пайплайн укладывается в несколько часов. Обучение идёт через LoRA (меняется малая часть параметров), поэтому требования к памяти GPU заметно ниже, чем при полном дообучении. Конкретные требования к оборудованию компания не опубликовала.

Работает ли Antidoom с русскоязычными промптами?

Метод оперирует на уровне отдельных токенов и механизмов генерации, а не на уровне языка. Датасет Liquid AI содержит англоязычные промпты по математике и коду, но сам подход применим к любым токенам. Для русскоязычных задач потребуется собрать свой набор промптов, провоцирующих зацикливание, и прогнать пайплайн на нём.

Открытая публикация Antidoom вместе с датасетом и кодом даёт разработчикам конкретный инструмент, а не ещё одну статью про «проблему галлюцинаций». Для тех, кто строит продукты на малых моделях, это рабочий способ сделать генерацию надёжнее за несколько часов.