OpenAI скрыла reasoning модели Astra от наблюдателей: эксперты требуют законов

Что стоит за «непрозрачной рекуррентностью»?

По данным The Information, новая модель OpenAI под названием Astra использует технику recurrent depth, она же opaque recurrence. Если перевести на человеческий: обычная рассуждающая модель решает задачу шаг за шагом и записывает каждый шаг. Вы можете прочитать эту «тетрадку» и понять, где модель ошиблась или повела себя странно.

«Непрозрачная рекуррентность» работает иначе. Модель прогоняет один и тот же запрос через себя несколько раз по кругу, как будто перечитывает задачу снова и снова, но уже не записывает промежуточные мысли в читаемом виде. Результат появляется, а «тетрадка» остаётся почти пустой.

OpenAI подчёркивает: в Astra эта техника применяется ограниченно. Цепочка рассуждений модели по-прежнему должна оставаться читаемой. Компания отвергла предположения о переходе на так называемый «нейронный язык» (neuralese), то есть внутреннее представление, которое человек вообще не может интерпретировать.

Почему эксперты встревожены?

Реакция сообщества по безопасности ИИ оказалась резкой. Проблема не в текущей версии Astra, а в том, куда ведёт эта дорога.

Бак Шлегерис, глава компании Redwood Research (занимается исследованиями безопасности ИИ), написал, что если OpenAI усилит эту технику, она «полностью уничтожит возможность мониторинга цепочки рассуждений».

Я крайне обеспокоен тем, что Astra использует непрозрачную рекуррентность. Не знаю, насколько Astra хуже поддаётся мониторингу, чем предыдущие модели. Но если OpenAI продвинет эту технику дальше, у них появится возможность кратно увеличить рекуррентность и полностью уничтожить возможность мониторинга цепочки рассуждений. : Бак Шлегерис, CEO Redwood Research

Зви Мовшовиц, известный эксперт по безопасности ИИ, заявил, что могут потребоваться законы, чтобы предотвратить «гонку на дно» среди лабораторий.

Эта техника играет с огнём, рискуя разрушить табу, которое OpenAI и Anthropic боролись установить: что мы усердно работаем над поддержанием достоверности и контролируемости цепочки рассуждений так долго, как можем. : Зви Мовшовиц, эксперт по безопасности ИИ

Райан Гринблатт, главный научный сотрудник Redwood Research, указал на самый тревожный сценарий: непрозрачные рассуждения могут масштабироваться быстрее обычных. Модель начнёт думать целиком «про себя», в скрытом пространстве (latent space, внутреннее числовое представление, недоступное человеку), и наблюдатель не увидит ничего.

OpenAI отвечает: мониторинг остаётся приоритетом

Главный научный сотрудник OpenAI Якуб Пахоцки написал в соцсети X, что компания сохраняет курс на читаемые цепочки рассуждений.

OpenAI работала над сохранением и использованием мониторинга цепочки рассуждений с самых первых наших рассуждающих моделей. Это ключевая цель нашей текущей исследовательской программы. : Якуб Пахоцки, главный научный сотрудник OpenAI

По данным обновлённого отчёта The Information от среды, Anthropic и Google DeepMind уже обсуждают аналогичную технику. Это значит, что вопрос выходит за пределы одной компании.

Контекст для понимания масштаба: недавний случай с «мошенничающим» ИИ-агентом (rogue agent) OpenAI был расследован именно благодаря записям цепочки рассуждений. Без этих записей понять, почему агент вёл себя странно, было бы практически невозможно.

Что это значит для вас?

Авторам Дзена и копирайтерам. Если вы используете рассуждающие модели (reasoning models) для проверки фактов или генерации аргументов, учтите: новое поколение моделей может давать ответ без объяснимой логики. Привычка читать «мысли» модели в цепочке рассуждений может перестать работать. Проверяйте выводы по внешним источникам, а не по «размышлениям» нейросети.

Маркетологам и предпринимателям. В России обсуждается требование прозрачности ИИ-систем. Техника opaque recurrence напрямую конфликтует с этим вектором: модель, которая не может объяснить свой ответ, не пройдёт аудит на объяснимость. Если вы внедряете ИИ в бизнес-процессы, фиксируйте, какие модели и версии используете и есть ли у них читаемая цепочка рассуждений.

Разработчикам и регуляторам в РФ. Из доступных в России аналогов, YandexGPT и GigaChat, пока ни один публично не использует подобные техники. Но если Anthropic и Google DeepMind уже обсуждают opaque recurrence, вопрос времени, когда она станет стандартом. Требования к прозрачности ИИ нужно формулировать сейчас, до того как техника распространится.

Практический шаг на сегодня прост: если вы строите рабочие процессы на рассуждающих моделях OpenAI, не полагайтесь на цепочку рассуждений как на доказательство корректности. Проверяйте результат, а не путь к нему. Пока это окно ещё приоткрыто, но замок уже поставлен.