Коллапс моделей доказан: обучение на синтетике убивает редкие данные первыми

Группа исследователей опубликовала работу, в которой впервые формально описала и назвала эффект «коллапс модели» (model collapse). Авторы показали, что явление касается не только больших языковых моделей (LLM, large language model, модель, обученная на огромных массивах текста и способная генерировать связный текст), но и вариационных автоэнкодеров (VAE, тип нейросети для генерации данных) и моделей гауссовых смесей (GMM, статистический инструмент, описывающий данные как набор «колоколообразных» кривых). Вывод универсален: ни одна генеративная модель не застрахована.

Работа вышла на фоне стремительного роста доли синтетического контента в интернете. GPT-2, GPT-3, GPT-4, Stable Diffusion уже изменили ландшафт текстов и изображений. Если следующие поколения моделей продолжат собирать обучающие данные (training data) из сети без фильтрации, они неизбежно будут учиться на выходе своих предшественников.

Что происходит с моделью при коллапсе?

• Хвосты распределения исчезают первыми. Редкие, но реальные данные (нетипичные формулировки, малочастотные темы, нестандартные стили) вымываются из поколения в поколение. Модель запоминает только «среднее» и теряет разнообразие.

• Два этапа деградации. Ранний коллапс: модель начинает терять информацию о хвостах распределения. Поздний коллапс: выученное распределение схлопывается до узкого пятна, мало похожего на оригинал, дисперсия резко падает.

• Три источника ошибок складываются каскадом. Ошибка статистической аппроксимации (конечное число примеров), ошибка функциональной выразительности (нейросеть не бесконечна) и ошибка функциональной аппроксимации (ограничения алгоритма обучения, например стохастического градиентного спуска). Каждая по отдельности может быть малой, но при смене поколений они накапливаются.

• Большая мощность модели не спасает. Авторы подчёркивают: лучшая выразительность может как компенсировать статистический шум, так и усилить его. Эффект каскадный: отдельные неточности складываются.

• Коллапс модели не равен ни катастрофическому забыванию (catastrophic forgetting, потеря старых навыков при обучении новым), ни отравлению данных (data poisoning, намеренное внедрение вредоносных примеров). Это отдельное явление с иной постановкой задачи, хотя внешне может напоминать оба.

Почему это касается российского рынка?

В России синтетический контент массово публикуется на маркетплейсах, в карточках товаров, на информационных сайтах и госпорталах. Локальные модели GigaChat (Сбер) и YandexGPT (Яндекс) обучаются в том числе на русскоязычных данных из открытого интернета. Чем больше ИИ-текстов попадает в рунет, тем выше вероятность, что следующее поколение этих моделей столкнётся с тем же коллапсом.

Русскоязычных качественных текстов, написанных людьми, в принципе меньше, чем англоязычных. Это делает проблему коллапса для локальных моделей потенциально острее.

Как снизить риск коллапса на практике?

1. Маркируйте синтетический контент. Если вы публикуете тексты, сгенерированные ИИ, помечайте их: метаданными, водяными знаками, тегами. Это поможет будущим сборщикам данных отфильтровать синтетику.

2. Сохраняйте и цените оригинальные тексты. Авторы исследования прямо указывают: данные о подлинных взаимодействиях людей с системами будут становиться всё ценнее. Оригинальный авторский контент, написанный экспертом для своей аудитории, это актив.

3. При дообучении (fine-tuning) используйте проверенные корпуса. Если вы дообучаете модель под свои задачи, убедитесь, что обучающая выборка не состоит целиком из ИИ-текстов. Подмешивайте реальные данные.

Что с этого вам, по ролям?

Автору Дзена. Ваш оригинальный текст, написанный на основе личного опыта и экспертизы, становится не просто контентом, а ценным ресурсом. Модели, обученные на живых текстах, работают лучше. Это аргумент в пользу авторского стиля, нишевой экспертизы и честного мнения, то есть всего, что ИИ не может породить сам из себя.

Маркетологу. Если вы массово генерируете описания товаров, SEO-тексты и рассылки через ИИ и публикуете их без редактуры, вы вносите вклад в загрязнение обучающих данных. В перспективе это снижает качество тех самых инструментов, которыми вы пользуетесь. Баланс между скоростью и качеством придётся пересмотреть.

Предпринимателю в РФ и СНГ. Если ваш продукт использует GigaChat, YandexGPT или любую другую локальную модель, спросите у поставщика: как фильтруются обучающие данные от синтетики? Публичных ответов пока нет, но сам вопрос становится критерием выбора.

Частые вопросы

Коллапс модели означает, что ИИ скоро перестанет работать?

Нет. Коллапс модели это постепенный процесс деградации при обучении на синтетических данных поколение за поколением. Он не означает, что текущие модели «сломаются» завтра. Он означает, что без доступа к качественным данным, созданным людьми, каждое следующее поколение будет хуже предыдущего.

Можно ли отличить ИИ-текст от написанного человеком для фильтрации?

Надёжных универсальных детекторов пока нет. Авторы исследования не предлагают конкретного инструмента детекции, но подчёркивают: маркировка синтетического контента и сохранение оригинальных данных критически важны. На практике самый надёжный способ, это маркировать свои ИИ-тексты самостоятельно при публикации.

Как это влияет на мой контент на Дзене прямо сейчас?

Напрямую на ваш канал коллапс модели сейчас не влияет. Но если вы используете ИИ для генерации текстов и публикуете их массово без редактуры, вы участвуете в процессе, который в перспективе снизит качество тех моделей, которыми пользуетесь. Оригинальный контент становится конкурентным преимуществом не только для читателя, но и для всей экосистемы ИИ.