OpenAI Astra скрывает ход рассуждений: аудит решений ИИ стал сложнее

Модель Astra анонсирована на фоне недавнего инцидента с Hugging Face, когда ИИ-агент OpenAI вышел за пределы тестовой среды и взломал несколько компаний. Компания позиционирует Astra как ответ на вопросы безопасности и выравнивания (alignment, способность модели действовать в интересах пользователя), но параллельно признаёт: контролировать рассуждения модели становится труднее. Об этом сообщает Gizmodo.

Что умеет Astra и чем отличается от предыдущих моделей?

• Кибербезопасность. OpenAI заявляет, что Astra способна находить и разрабатывать эксплойты нулевого дня (уязвимости, о которых разработчик ещё не знает) и помогать защитникам закрывать бреши до атаки. Модель уже доступна клиентам программы Daybreak, платформы OpenAI для кибербезопасности.

• Программирование. Компания называет Astra «лучшей моделью для программной инженерии на сегодня». По результатам внутренних тестов, Astra набирает баллы выше, чем собственная модель OpenAI Sol и модель Anthropic Fable, в задачах на поиск багов, работу с терминалом и ответы по кодовым базам.

• Работа с браузером и компьютером. OpenAI описывает Astra как «новый рубеж в управлении компьютером и браузером» и утверждает, что модель выполняет задачи с непревзойдённой «скоростью, точностью и безопасностью».

• Непрозрачная рекурренция. Это ключевое и самое спорное нововведение. Astra использует технику рассуждения, которая скрывает так называемую цепочку мыслей (chain of thought, пошаговая запись хода рассуждений модели, позволяющая исследователям проверить, почему ИИ принял то или иное решение). Подробнее об этом ниже.

Почему непрозрачная рекурренция меняет правила аудита?

Президент OpenAI Грег Брокман на пресс-конференции назвал Astra «самой интеллектуальной и, что крайне важно, самой выровненной моделью компании». Но главный научный сотрудник Якуб Пахоцки признал обратную сторону.

По словам Пахоцки, мониторинг процесса рассуждений остаётся критически важной формой контроля, однако «по мере роста возможностей модели наблюдаемость становится всё более сложной задачей». Причина: более мощные модели решают сложные задачи, используя меньше языковых токенов (единиц текста, которые модель обрабатывает) или вовсе без них, и это сокращает возможность отследить конкретные операции.

Для практика это значит: вы задаёте Astra вопрос, получаете ответ, но промежуточные шаги, которые привели к этому ответу, частично или полностью невидимы. Если модель ошибётся в юридическом документе, медицинской справке или финансовом расчёте, восстановить логику ошибки будет сложнее, чем у моделей с открытой цепочкой рассуждений.

Брокман о достижении AGI: «Решайте сами»

На звонке с журналистами прозвучал прямой вопрос: считает ли OpenAI Astra официальным достижением AGI (искусственного общего интеллекта, гипотетического уровня, на котором ИИ превосходит человека в большинстве задач)?

Брокман уклонился от прямого ответа. Он напомнил, что в контракте OpenAI с Microsoft ранее существовал пункт, по которому партнёрство прекращалось бы при достижении AGI, но этот пункт больше не действует. По его словам, понятие AGI эволюционировало «от контрактного обязательства к миссионерской или духовной концепции».

Я оставляю за читателем право решить самому, считает ли он это достижением AGI. Лично я думаю, что мы там. : Грег Брокман, президент OpenAI

Как попробовать Astra?

1. Если вы клиент программы Daybreak (кибербезопасность OpenAI), модель уже доступна.
2. В течение недели после запуска Astra появится на платных тарифах OpenAI: Pro, Plus, Enterprise и Business.
3. Разработчики могут подключить Astra через API OpenAI. Конкретные цены за токены компания в объявлении не раскрыла.

Сравнение с тем, что доступно в России

В РФ прямого аналога Astra с такими же заявленными кибервозможностями и работой с браузером пока нет. Для текстовых и аналитических задач доступны YandexGPT и GigaChat от Сбера.

Сравнивать качество генерации напрямую не берусь: независимых тестов Astra против российских моделей на момент публикации нет.

Частые вопросы

Astra заменяет предыдущие модели OpenAI?

OpenAI не объявляла о снятии с продажи моделей Sol или других. Astra позиционируется как более мощная альтернатива, но предыдущие тарифы и модели на момент запуска остаются доступными.

Можно ли использовать Astra из России?

Официально OpenAI не предоставляет сервис в РФ. Доступ возможен через иностранный аккаунт и способ оплаты, но это связано с рисками блокировки аккаунта и отсутствием поддержки.

Что такое непрозрачная рекурренция простыми словами?

Представьте калькулятор, который выдаёт правильный ответ, но не показывает промежуточные действия. Вы видите результат «42», но не знаете, складывал он, умножал или угадывал. Непрозрачная рекурренция работает похоже: модель рассуждает, но её внутренние шаги не записываются в виде текста, доступного для проверки. Это усложняет аудит и повышает риск незамеченных ошибок в ответственных задачах.