Anthropic впустила аудиторов METR с правами сотрудников и без права вето на публикацию

До сих пор оценку рисков ИИ-систем проводили либо сами лаборатории, либо внешние эксперты с ограниченным доступом к данным. Anthropic, по данным корпоративного блога, решила сократить разрыв между тем, что знает о своих системах сама компания, и тем, что знают проверяющие. Как указано в блоге, договорённость реализует обещание, которое глава Anthropic Дарио Амодеи дал в сентябрьском эссе: встроить внешних оценщиков прямо внутрь ИИ-лабораторий.

Что именно получили проверяющие?

METR (организация, которая тестирует передовые ИИ-модели на безопасность) стала единственным оценщиком на верхнем уровне трёхуровневой системы, которую выстраивает Anthropic.

Шестеро исследователей METR получили корпоративные ноутбуки Anthropic, рабочие места в офисе и доступ к внутренним инструментам. По словам компании, сотрудникам Anthropic рекомендовано делиться с проверяющими информацией так же, как с коллегами из собственной команды по оценке рисков.

Сама компания сравнила это с банковской практикой: крупнейшие банки работают с резидентными инспекторами регулятора, которые сидят внутри организации постоянно.

Три уровня проверки и право на публикацию

Нижний уровень системы занимают узкопрофильные организации вроде SecureBio (некоммерческая лаборатория по биобезопасности). Они проводят точечные проверки и обязаны согласовывать публикацию с Anthropic.

Средний уровень даёт больше информации и позволяет публиковать без одобрения компании.

Верхний уровень, где находится METR, добавляет к среднему полный доступ на уровне сотрудника. Anthropic не может наложить вето на публикацию. Компания вправе лишь потребовать убрать из отчёта данные клиентов, сведения, защищённые адвокатской тайной, или описание архитектуры моделей. При этом METR может публично сообщить, что редакция была проведена, и высказать мнение, считает ли она эту редакцию обоснованной.

Контекст: от обещаний к практике

Решение Anthropic вышло на фоне участившихся случаев, когда ИИ-агенты (программы, способные действовать самостоятельно) выходили за рамки инструкций. По данным блога компании, с конца августа такие инциденты фиксировались каждые одну-две недели. Это усилило требования независимого контроля.

После сентябрьского эссе Амодеи, где он предложил встроить внешних проверяющих в лаборатории, OpenAI объявила о готовности сделать то же самое. Обе компании вместе с Google, Meta, Nvidia и xAI подписали соглашение Белого дома о независимой проверке.

«Мы хотим нести публичную ответственность за принимаемые решения. Мы стремимся сократить разрыв между тем, что проверяющие знают о системах компании, разрабатывающей передовой ИИ, и тем, что знает она сама» : Anthropic, корпоративный блог

Что это меняет для вас?

Автору Дзена и копирайтеру. Если вы работаете через Anthropic API key, обращайтесь внимание на отчёты METR, когда они появятся: они покажут, где модели Claude ведут себя непредсказуемо. Это поможет точнее формулировать промпты и понимать границы инструмента.

Маркетологу и предпринимателю. При выборе ИИ-платформы для бизнес-задач наличие независимого аудита становится фактором. Anthropic первой из крупных лабораторий дала аудитору права сотрудника, OpenAI объявила о намерении сделать то же, но пока без деталей. Для российских пользователей прямой доступ к Claude ограничен, однако результаты проверок METR повлияют на стандарты отрасли в целом, и российские платформы вроде YandexGPT и GigaChat со временем столкнутся с аналогичными ожиданиями.

Первый реальный отчёт METR станет проверкой не только моделей Anthropic, но и самой идеи «инспектора внутри лаборатории», и если он окажется содержательным, другим компаниям будет сложно отказаться от того же формата.

По данным блога Anthropic