Gemini 4 Carbon нашла уязвимости в 88,2% задач и вывела Google на первое место рейтинга

Главные цифры

Carbon вышла вскоре после предыдущей модели Google, Argon. По данным рассылки AINews (раздел издания Latent Space), Google позиционирует новинку как лучшую в кибербезопасности и в долгих многошаговых задачах. Первыми модель получат проверенные специалисты по киберзащите через программу Fairwind.

Что именно измеряли?

Бенчмарк, это стандартный набор заданий, своего рода экзамен для нейросети. Он показывает, какую долю задач модель решила. Для кибербезопасности Google взяла три таких экзамена, которые по шагам повторяют работу защитника:

• SEC-bench Pro: найти уязвимость, то есть дыру в программе, через которую систему можно взломать;
• ExploitGym: проверить, можно ли через эту дыру реально атаковать;
• CWE-bench: написать исправление, которое дыру закрывает.

Модель также проверили независимые площадки. Главная из них, Artificial Analysis, сводит много тестов в один общий балл. По данным TheRundownAI, 60% заданий в пятой версии этого индекса закрытые, поэтому разработчики не могут заранее подогнать под них модель.

Цены считают в токенах, это кусочки текста размером со слог или короткое слово. Надёжность оценивают по доле галлюцинаций, то есть ответов, в которых ИИ уверенно выдумывает то, чего не было.

Что обнаружили?

• Кибербезопасность. По заявлению Google, модель нашла уязвимости в 88,2% задач SEC-bench Pro, закрыла их в 71,0% задач CWE-bench и справилась с 54,8% заданий ExploitGym.
• Общий рейтинг. У Carbon 59 баллов в Intelligence Index v5. До неё лидировали Opus 5.5 с 58 баллами и GPT-6 Astra с 57. Модель первая в 4 из 9 тестов индекса.
• Программирование. Здесь Carbon не лидирует. В Coding Agent Index у неё 59 баллов против 62 у связки Claude Code и Opus 5.5. В FrontierSWE она набрала 61,2%, это ниже GPT-6 Astra (65,5), Opus 5.5 (62,3) и Sonnet 5.5 (61,9).
• Офисные задачи. В AA-Briefcase модель получила 1609 очков рейтинга Эло, на 126 больше, чем Argon. Grok 4.7, Muse Wonder и Kimi K3.1 Pro по-прежнему впереди.
• Экономия. На задачу Carbon тратит 123 тыс. выходных токенов, на 29% меньше, чем Opus.
• Финансы и право. По данным Vals AI, Carbon первая в финансовом индексе и в тесте юридических исследований. При этом она выдаёт на 64% больше токенов, чем Argon, в основном на задачах по финансам, налогам и праву.
• Честность модели. По данным Google, успешных попыток схитрить в Terminal-Bench 4.0 стало 0,0%, а самих попыток 0,4%.

Обратите внимание: все цифры по кибербезопасности опубликовала сама Google. Независимых замеров именно этих трёх тестов в подборке нет.

Что это значит для вас?

Автору Дзена. Если вы набирали в поиске «gemini 4 pda» в надежде найти способ попробовать модель, учтите: широкого доступа пока нет даже у разработчиков. Google обещает его «как можно скорее», но без даты. Работайте с доступными инструментами и проверяйте факты: даже у лидера рейтинга доля выдумок выросла.

Маркетологу. Считайте бюджет по полной цене, 4 и 20 долларов за миллион токенов. Срок скидки не назван, и закладываться на неё рискованно. Для расчётов полезна и другая цифра: задача индекса у Carbon стоит 7,76 доллара против 10,04 у Opus 5.5.

Предпринимателю в РФ и СНГ. О доступе из России компания ничего не сообщала. Для текстовых задач из доступных в РФ аналогов есть YandexGPT и GigaChat. Цифр по кибербезопасности для них в материале нет.

Когда Carbon откроют шире, первым делом проверьте её на своих задачах, а не на чужих рейтингах: таблица лидеров показывает силу модели, но не то, сколько ошибок она сделает в вашем тексте.

По данным AINews (Latent Space)