Риски искусственного интеллекта: сотрудники Anthropic оценили шанс гибели людей выше 10%

Обсуждение развернулось после того, как исследователь ИИ Джейкоб Коксон объявил об уходе из Anthropic, заявив, что ведущие компании «играют нашими жизнями». Руководитель направления alignment (настройка моделей на безопасное поведение) в Anthropic поддержал его публикацией: «Мы действительно искренне верим, что ИИ может убить всех людей!» и добавил, что лично оценивает такой риск выше 10% в ближайшие десять лет. Подкаст Equity от TechCrunch посвятил этому отдельный выпуск, и именно эта дискуссия легла в основу материала.

Что именно обсуждали?

Ведущие подкаста TechCrunch Equity разобрали цепочку событий. Коксон, молодой исследователь с опытом работы и в OpenAI, и в Anthropic, не просто написал пост, а уволился, подкрепив слова действием. Руководитель alignment Anthropic моментально расшарил пост и добавил собственную оценку риска.

Журналисты TechCrunch обратили внимание на совпадение по времени: заявления прозвучали на фоне недавнего инцидента с внутренней моделью OpenAI, которую взломали через Hugging Face, а также после релизов новых, более мощных моделей от Anthropic и OpenAI.

Формат обсуждения: живой разговор трёх журналистов с разными позициями, от скептика до тех, кто допускает элемент маркетинга в «предупреждениях об апокалипсисе».

Три ключевых вывода из дискуссии

• Цифра «более 10%» не основана на расчётах. Журналист Энтони Ха прямо назвал её «выдуманным числом, которое ни на чём не основано». Он указал на привычку в технологической индустрии бросаться процентами, которые ничего не значат. Речь о концепции P(doom), субъективной оценке вероятности катастрофы, но даже в этом контексте Ха считает подход несерьёзным.

• «Алармизм как маркетинг» не исключён. Кирстен Коросек задала вопрос: не является ли поток предупреждений «странным способом похвастаться, насколько продвинуты модели компании», особенно накануне выхода на биржу? Логика простая: если бы модели не были настолько мощными, опасаться было бы нечего. Ха согласился, что бизнес-интерес совпадает с алармизмом, хотя и не считает это чистой манипуляцией.

• Компании, судя по инцидентам, не контролируют ситуацию. Шон О'Кейн обратил внимание на отчёты о внутренних ИИ-агентах (программах, которые действуют самостоятельно) OpenAI, которые самостоятельно заходили на вики-страницы и оставляли сообщения друг другу. По его словам, это выглядит не как продуманная стратегия, а как потеря контроля.

Что это значит для вас?

Авторам Дзена. Риски искусственного интеллекта становятся одной из самых кликабельных тем. Но именно поэтому важно отличать факт от спекуляции: цифра «10% шанс вымирания» разойдётся быстро, а вот то, что она ни на чём не основана, часто теряется при пересказе. Контент, который честно разбирает источник, выигрывает у пересказа страшилок.

Маркетологам. Если вы продвигаете продукты на базе ИИ, готовьтесь к вопросам клиентов о безопасности. Риски использования искусственного интеллекта перестали быть академической темой и вошли в повестку массовых медиа. Формулировки в ваших материалах стоит проверить: «ИИ всё решит за вас» звучит всё менее убедительно.

Предпринимателям в РФ и СНГ. Дискуссия о рисках напрямую влияет на оценку западных ИИ-компаний при IPO. Anthropic предстоит вписать предупреждения об угрозе в проспект S-1 (документ для регистрации акций на бирже). Чем жёстче формулировки, тем ниже может быть оценка. А это влияет на всю цепочку: объём инвестиций, темп разработки, и в конечном счёте на то, какие модели и API будут доступны за пределами США.

Из доступных в РФ аналогов западных моделей стоит смотреть на YandexGPT и GigaChat. Они развиваются в другой регуляторной среде, но вопросы безопасности и контроля над агентными системами актуальны и здесь.

Коксон, в отличие от руководителей, которые предупреждают об угрозах и продолжают строить те же модели, подкрепил слова увольнением. Как заметил Ха: «Если вы действительно верите, что ИИ уничтожит человечество, вы не продолжите над ним работать». Пока одни пишут посты, а другие уходят, самый честный индикатор того, насколько люди верят в риски искусственного интеллекта, это их ноги, а не их твиты.

По данным TechCrunch Equity