Sequent собирает $150 млн на независимую безопасность ИИ: лаборатории не справляются сами

Группа исследователей из Британского института безопасности ИИ и стартапа Timaeus в июне 2025 года объединилась в некоммерческую организацию Sequent, заявив, что выравнивание сверхразумных систем с человеческими ценностями «не идёт по графику» и требует принципиально иного подхода, чем тот, что практикуют крупные лаборатории.

Тема безопасности ИИ обычно остаётся внутри корпораций: OpenAI, Google DeepMind и Anthropic сами решают, как проверять свои модели. Sequent строится как независимая структура, способная, по словам основателей, «кричать», если лаборатории делают что-то опасное. По данным Import AI, организация намерена вырасти до 40-80 штатных сотрудников за пару лет и вести параллельно десятки исследовательских направлений.

Что именно исследует Sequent?

Выравнивание (alignment) в контексте ИИ означает задачу: как сделать так, чтобы система действовала в интересах людей, а не преследовала собственные цели. Сейчас лаборатории проверяют модели после обучения: запускают тесты, находят сбои, латают. Sequent называет это «реактивным» подходом и считает, что он не даст уверенности до того, как появится сверхразумная система.

Организация хочет найти «принципиальные основания» для уверенности в том, что выравнивание, которое работает в контролируемых условиях (при обучении, на тестах), сохранится и в реальном мире, при выполнении масштабных долгосрочных задач.

Конкретные направления исследований, которые перечислены в манифесте Sequent:

• Масштабируемый надзор (scalable oversight) означает способы контролировать систему, которая умнее контролёра
• Теория обучения (learning theory) изучает, при каких условиях модель вообще может «выучить» правильное поведение
• Эвристические аргументы (heuristic arguments) дают не строгое доказательство, а обоснованную уверенность, что система безопасна
• Теория игр (game theory) моделирует стратегическое взаимодействие ИИ и человека
• Персоны (personas) изучают, какие «роли» принимает модель и как это влияет на её поведение

Sequent делает ставку на то, что пересечение этих направлений даст синергию. Например, теория игр покажет, к каким равновесиям приведут методы масштабируемого надзора, а сочетание теории обучения и изучения персон подскажет, какие переменные можно менять при обучении модели.

Что обнаружили основатели и почему бьют тревогу?

• Сверхразумный ИИ (ASI) может появиться в ближайшие годы, а методы выравнивания к этому моменту, вероятно, не будут готовы, по оценке самих основателей Sequent
• Лаборатории не дают априорной уверенности в безопасности до обучения сверхразумной модели: их методы «функциональны, но не дают принципиального понимания, когда и при каких условиях они откажут»
• Рекурсивное самоулучшение (когда ИИ сам проектирует и обучает следующие версии себя) потребует качественно иного уровня безопасности ИИ, которого пока нет
• Независимость критична: организация позиционирует себя как структуру, которая сможет публично предупредить о рисках, если лаборатории пойдут по опасному пути. Дословно: «Возможно, нам придётся кричать»

Что это значит для вас?

Авторам Дзена и контент-мейкерам. Тема безопасности ИИ перестаёт быть абстрактной страшилкой и превращается в конкретные организации с бюджетами и штатами. Если вы пишете про нейросети, стоит следить за Sequent: их публикации будут задавать повестку в спорах о том, можно ли доверять ИИ-агентам (программам, которые действуют самостоятельно от имени пользователя).

Маркетологам и предпринимателям. Каждый релиз о проблемах выравнивания влияет на регуляторную среду. Чем громче звучат предупреждения, тем быстрее приходят новые правила. Для бизнеса в РФ и СНГ это значит: внедряя ИИ-инструменты, закладывайте в процесс проверку на адекватность ответов, особенно если модель принимает решения без человека в цепочке.

Для российского контекста. В России практически нет независимых исследовательских организаций, занимающихся безопасностью ИИ. Модель Sequent показывает, как можно выстроить такую структуру: некоммерческий формат, начальное финансирование 100-150 млн долларов, портфель параллельных исследовательских направлений вместо одной ставки, публичная позиция и готовность спорить с крупными игроками. Для тех, кто думает о подобных инициативах в РФ, это рабочий образец.

Безопасность ИИ из темы для конференций превращается в область с реальными бюджетами и кадрами. Sequent пока только план, но план с конкретными цифрами, направлениями и командой, которая готова «кричать», если придётся.

По материалам Import AI