Обучение нейросетей без людей: 7 этапов уже пройдены, затраты упали в сотни раз

Издание Latent Space, одно из заметных англоязычных медиа об ИИ-инфраструктуре, систематизировало то, что происходит с 2022 года: поэтапно каждый компонент конвейера, который производит машинный интеллект, переключается с человеческого труда на работу других моделей. Это не теория, а хронология конкретных продуктов и исследований, за каждым этапом стоит «нулевой пациент», статья или релиз, после которого возврата к ручной работе уже не происходит.

Семь этапов: как модели заменили людей в собственном обучении

• Этап 1, сигнал вознаграждения (2022). InstructGPT от OpenAI научил модель оптимизироваться не по человеческим оценкам напрямую, а по другой модели, обученной на этих оценках. Constitutional AI (Anthropic) пошёл дальше: ИИ критикует сам себя по набору принципов. К моменту, когда LLM-as-judge (когда одна нейросеть оценивает ответы другой) стал стандартом, весь аппарат одобрения уже работал без людей.

• Этап 2, обучающие данные (2023). Серия Phi от Microsoft доказала тезис, вынесенный в название статьи: «Textbooks Are All You Need» («Нужны только учебники»). Маленькая модель, обученная на синтезированных нейросетью данных учебного качества, работала значительно лучше, чем предсказывал её размер. Apple WRAP обобщил подход: перефразируй весь интернет нейросетью, и предобучение станет примерно втрое эффективнее. NVIDIA Nemotron-4 340B уже поставлялась с готовым конвейером генерации синтетических данных. Корпус текстов, который считался неотъемлемо человеческим вкладом, стал по большей части написан моделями.

• Этап 3, учитель (2023). Через несколько недель после открытия API ChatGPT проект Alpaca из Стэнфорда показал, что дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу) за 600 долларов на инструкциях, сгенерированных GPT, способно воспроизвести значительную часть поведения передовой модели. DeepSeek-R1 довёл это до нормы: рядом с флагманской моделью выпускается семейство дистиллированных, и формула «учитель это модель» стала стандартом.

• Этап 4, учебный план (2024). Модель начала сама решать, чему учиться дальше. Meta Self-Rewarding Language Models и SPIN показали, что модель может генерировать собственные задачи, оценивать собственные ответы и улучшаться за пределы потолка, заданного человеческими предпочтениями. Проектирование учебного плана, самая ремесленная часть машинного обучения, стала тем, что модели делают сами с собой.

• Этап 5, исследователь (2025-2026). AlphaEvolve от DeepMind в 2025 году эволюционировал новые алгоритмы. AI Scientist от Sakana (опубликован в Nature) описал полный конвейер написания научных статей. Андрей Карпати в марте 2026 года запустил autoresearch: минимальный цикл, где агент-программист модифицирует реальную настройку обучения, проводит пятиминутный эксперимент, оставляет изменение только при улучшении метрики и повторяет ночью. За один прогон агент провёл 700 экспериментов, оставил 20 улучшений и сократил время обучения GPT-2 с 2,02 до 1,80 часа, пока Карпати спал.

• Этап 6, среда обучения (2026). Z.ai построили конвейеры, которые синтезируют среды обучения целиком: исследовательские агенты (ИИ-агент, программа, действующая самостоятельно для достижения цели) находят реальные рабочие паттерны и превращают их в задачи с длинным горизонтом, агент-судья проверяет решаемость, верификаторы стресс-тестируются без доступа к эталонному ответу. Вся среда, судейство и проверка полностью синтетические.

• Этап 7, человек как объект моделирования (2025). Если модели стали судьёй, учителем и средой, последняя человеческая роль, источник предпочтений и поведения, тоже начала замещаться. Линия тянется от Generative Agents (проект Smallville Джуна Сунг Парка, 2023) до платформы Simile, которая заменяет реальных респондентов синтетическими «людьми».

Как это применить уже сейчас?

1. Прочитайте оригинальную статью Latent Space (ссылка ниже) и определите, на каком этапе находится ваш рабочий процесс с ИИ: вы ещё вручную оцениваете ответы модели (этап 1) или уже генерируете обучающие данные автоматически (этап 2)?
2. Попробуйте синтетические данные для дообучения. Если вы работаете с API любой доступной модели, сгенерируйте набор «учебных» текстов по вашей теме и проверьте, улучшит ли это качество ответов для вашей задачи.
3. Настройте LLM-as-judge. Возьмите доступную модель и попросите её оценивать ответы другой модели по вашим критериям. Это этап 1 в миниатюре, и он работает даже с бесплатными инструментами.

Что это значит для тех, кто работает в России?

Яндекс активно использует синтетические данные при обучении YandexGPT. Это не секретная информация: компания неоднократно говорила о генерации обучающих данных моделями в своих публичных выступлениях. GigaChat от Сбера тоже развивается в этом направлении.

Для российских разработчиков и авторов важен практический вывод: методы, описанные Latent Space, не требуют доступа к закрытым западным моделям. Открытые модели (open-source, модели с доступным кодом и весами) вроде семейства DeepSeek или Qwen позволяют воспроизвести этапы 1-4 на собственной инфраструктуре. Обучение нейросетей через синтетику доступно и без подписки на OpenAI.

Частые вопросы

Значит ли это, что люди больше не нужны для обучения ИИ?

Нет. Люди по-прежнему задают цели, формулируют принципы и проверяют итоговое качество. Но рутинная работа по разметке, оценке и генерации учебных материалов всё больше переходит к самим моделям. По данным Latent Space, каждый год с 2022-го один компонент конвейера переключается с ручного на синтетический.

Можно ли использовать эти методы без дорогих GPU?

Этапы 1-3 (синтетическая оценка, генерация данных, дистилляция) работают через API облачных сервисов и не требуют собственных серверов с видеокартами. Дообучение маленьких моделей на синтетических данных, как показал проект Alpaca, обходилось в 600 долларов ещё в 2023 году. С тех пор стоимость инференса (инференс, процесс, когда обученная модель генерирует ответы) упала кратно.

Это работает только на английском?

Описанные подходы не привязаны к языку. Синтетические данные можно генерировать на русском, а дистилляция и LLM-as-judge работают с любым языком, который поддерживает базовая модель. YandexGPT и GigaChat подходят для русскоязычных задач, открытые модели Qwen хорошо работают с кириллицей.

Конвейер, в котором модели обучают модели, уже не эксперимент, а норма для передовых лабораторий. Для тех, кто работает с ИИ в России, это практический сигнал: осваивать синтетические данные и автоматическую оценку стоит не «когда-нибудь», а в этом месяце, потому что разрыв между теми, кто умеет строить такие цепочки, и теми, кто работает вручную, растёт с каждым новым этапом.