Google DeepMind запустил институт AGI: искусственный интеллект хотят тестировать до релиза

Институт возглавили три директора: сооснователь DeepMind Шейн Легг (он же главный редактор), глава Google DeepMind Демис Хассабис и топ-менеджер Google Джеймс Маньика. Стартовая публикация содержит четыре эссе, каждое затрагивает болевую точку на пути к AGI: экономическую политику при возможных потрясениях от ИИ, сохранение читаемого «хода мысли» моделей, принципы благополучия людей и стандарт оценки фронтирных (самых мощных на момент выпуска) моделей.

Примечательно, что институт не просто выпустил манифест: два из четырёх эссе содержат конкретные регуляторные предложения, а не общие призывы к осторожности.

Что именно предлагает институт?

Самое конкретное из четырёх эссе написал Демис Хассабис. Он предлагает создать в США орган по оценке фронтирных ИИ-моделей. Механизм такой:

• На первом этапе разработчики добровольно подают модели на проверку за 30 дней до выпуска.
• Когда система оценки докажет свою надёжность, прохождение тестов может стать обязательным условием для развёртывания фронтирных моделей в США.
• Сначала тесты разрабатываются совместно с ИИ-компаниями, затем орган переходит к независимым, закрытым проверкам (Хассабис называет их held-out tests), чтобы лаборатории не могли «натаскивать» модели на заранее известные задания.
• При необходимости требования можно ужесточить, вплоть до координированного замедления разработки среди всех ведущих лабораторий.

Ключевое слово здесь: «добровольно». На старте никто никого не обязывает, но архитектура заложена так, чтобы добровольность со временем превратилась в норму.

Прозрачность моделей сужается, и это осознанный выбор

Второе важное эссе написали исследователи безопасности DeepMind Рохин Шах и Анка Драган. Их тезис: окно прозрачности ИИ, то есть возможность видеть и проверять пошаговый ход рассуждений модели, сужается, но это не неизбежность.

Новые архитектуры делают модели мощнее, но одновременно труднее для мониторинга. Авторы предлагают два пути:

• Ограничить «непрозрачную последовательную глубину» (opaque serial depth), то есть объём вычислений, которые модель выполняет без читаемого следа рассуждений.
• Требовать от разработчиков доказательств, что менее прозрачные системы остаются столь же контролируемыми.

Для нетехнического читателя это проще понять так: представьте калькулятор, который даёт правильный ответ, но не показывает промежуточных действий. Чем длиннее цепочка скрытых действий, тем труднее понять, не ошибся ли он и не «галлюцинирует» ли, то есть не выдумывает ли уверенно то, чего не было.

Что это значит для вас?

Авторам Дзена и копирайтерам. Эссе о прозрачности рассуждений модели касается вас напрямую. Если вы используете рассуждающие модели (reasoning models) для генерации текста и привыкли видеть цепочку «размышлений», будьте готовы: в следующих поколениях этот ход мысли может стать короче или исчезнуть. Проверяйте факты на выходе, а не доверяйте промежуточным шагам.

Маркетологам. Предложение о стандартном органе оценки моделей может через год-два изменить правила вывода ИИ-продуктов на рынок США. Если вы строите продукт на API фронтирных моделей, закладывайте в планирование возможную задержку релиза до 30 дней на оценку.

Разработчикам и предпринимателям в РФ и СНГ. Прямого доступа к будущему органу у российских компаний не будет: речь идёт о юрисдикции США. Но позиции DeepMind по оценке и прозрачности станут ориентиром для всех, кто работает с AGI (искусственным интеллектом общего назначения) и фронтирными моделями. Понимание этих стандартов критично: они могут стать де-факто нормой и для моделей, доступных через API в России.

Публикация института совпала с неделей, когда лидеры отрасли, включая главу Anthropic Дарио Амодея, призвали «регулировать темп» разработки фронтирных моделей. DeepMind Institute пока выпустил четыре эссе, но заложил конкретную рамку: добровольная оценка, закрытые тесты, координированное замедление при угрозе. Следить стоит не за манифестами, а за тем, подаст ли хоть одна лаборатория модель на проверку добровольно и до того, как её к этому обяжут.

По данным TechCrunch