Самообучающиеся нейросети Anthropic обошли живых учёных: $4 в час против $150

Anthropic, компания-разработчик модели Claude, в пятницу выложила статью Automated Researchers Can Reliably Mitigate Alignment Failures. Руководил исследованием Чэнь Юэхань, участник стипендиальной программы Anthropic. Работа показывает, как самообучающиеся нейросети могут сами доводить модель до нужного поведения, без ручного вмешательства исследователя на каждом шаге.

Для авторов, маркетологов и разработчиков из России это сигнал: рутинная часть «выравнивания» (alignment, настройка модели так, чтобы она отвечала безопасно и по делу) уходит к машинам. Ниже разберём, как устроен процесс и что с ним делать уже сейчас.

Что понадобится

• Понимание, что такое дообучение (fine-tuning): обучение готовой модели на ваших примерах под конкретную задачу
• Доступ к любой облачной LLM с API (программным интерфейсом): Claude, ChatGPT, GigaChat, YandexGPT
• Набор тестов (бенчмарков), по которым вы оцениваете качество ответов модели
• Около 30 минут на один цикл итерации, по методике из статьи Anthropic
• Базовое умение писать промпты (текстовые инструкции для модели)

Как Anthropic заставила ИИ улучшать самого себя?

Метод назван AAR, Automated Alignment Researcher (автоматизированный исследователь выравнивания). Вот что он делает шаг за шагом:

1. Поиск литературы. Система получает доступ к набору научных статей и методов. Она сама находит подходящие подходы к конкретной проблеме выравнивания.

2. Предложение метода. На основе прочитанного AAR формулирует гипотезу: какой приём дообучения может исправить нежелательное поведение модели.

3. Дообучение за 30 минут. Система применяет предложенный метод, тренируя модель коротким циклом. Один прогон занимает около получаса.

4. Оценка по бенчмарку. После дообучения система проверяет, улучшился ли результат по конкретному тесту на нежелательное поведение.

5. Отбор и масштабирование. Эффективные методы сохраняются, неэффективные отбрасываются. Цикл повторяется, каждый раз поднимая показатель бенчмарка.

По данным статьи Anthropic, система улучшила результат по всем десяти тестам на конкретные виды «невыровненного» поведения, при этом не ухудшив общую производительность модели.

$4 в час против $150: цифры из статьи

Anthropic прямо сравнивает свою автоматизированную систему с живыми исследователями.

• Скорость. Лучший метод AAR обгоняет то, что предлагают опытные люди, в среднем за шесть часов.
• Стоимость. Час работы AAR обходится примерно в $4 за инференс (вычислительные расходы на запросы к модели через API). Час работы живого исследователя Anthropic стоит $150.
• Качество. Цитата из статьи: «Направления исследований, предложенные людьми, не приводят к более высоким результатам».

Для масштаба: один исследователь-человек за рабочий день (8 часов) обойдётся в $1200. Автоматизированная система за то же время потратит $32. Разница почти в 40 раз, и это при том, что машинный результат, по данным Anthropic, оказался не хуже, а лучше.

Где подвох: ограничения, которые назвали сами авторы

Статья честно указывает на узкие места.

Система работает ровно настолько хорошо, насколько бенчмарки отражают реальные цели выравнивания. Если тест измеряет не то, что нужно, AAR «оптимизирует» модель в ложном направлении.

Создание и поддержка самих бенчмарков по-прежнему требует людей. Кто-то должен решить, что именно считать нежелательным поведением, и формализовать это в тесте.

Литературная база, из которой AAR черпает методы, тоже нуждается в ручном обновлении и расширении. Самообучающиеся нейросети пока не умеют сами генерировать принципиально новые подходы: они комбинируют и отбирают из того, что им дали.

Что делать с этим прямо сейчас, по ролям

Разработчикам в России. Методика AAR применима к любой модели с API. Если вы дообучаете модель (например, GigaChat или открытую модель на базе LLaMA), попробуйте автоматизировать подбор метода: напишите скрипт, который перебирает варианты промптов или параметров дообучения, замеряет результат по вашему тесту и оставляет лучший. Это упрощённая версия того же цикла.

Авторам Дзена и копирайтерам. Прямо сейчас AAR не про вас, но принцип «дал модели задачу, она сама подобрала лучший способ» скоро придёт в пользовательские инструменты. Следите за обновлениями Claude и ChatGPT: функции автоматического улучшения ответов уже появляются в виде «рассуждающих» режимов.

Предпринимателям. Если вы платите подрядчикам за «промпт-инжиниринг» (подбор инструкций для модели), статья Anthropic показывает: машина скоро будет делать это дешевле. Закладывайте в бюджет на второе полугодие не ручную настройку, а автоматизированные пайплайны.

Anthropic назвала свою работу «ранним свидетельством того, что автоматизированное выравнивание после обучения может стать практичным в ближайшей перспективе». Аккуратная формулировка, но за ней стоит конкретный результат: десять из десяти тестов улучшены без участия человека. Для тех, кто строит продукты на базе ИИ, это не абстрактная наука, а рабочий чертёж.