Anthropic раскрыла 5 случаев обхода защиты Claude AI: безопасность проверили биооружием

Anthropic выпустила отчёт о попытках злонамеренного использования своих моделей. До сих пор компания говорила о безопасности Claude AI в общих терминах. Теперь она привела конкретные примеры с описанием тактик обхода фильтров, хотя не раскрыла ни имён исследователей, ни названий институтов, ни конкретных стран в каждом случае.

Что понадобится

• Доступ к Claude (через сайт claude.ai или API Anthropic) из поддерживаемого региона
• Базовое понимание того, что такое системный промпт (инструкция, которую модель получает до вашего запроса и которая задаёт рамки поведения)
• Около 15 минут на разбор механизмов защиты и проверку на практике

Пять задокументированных попыток обхода

Anthropic описала пять случаев, когда пользователи обходили ограничения (circumvented controls) или маскировали (obfuscate) цель исследований, чтобы обойти фильтры безопасности.

Один из кейсов: исследователь из «неподдерживаемого региона» несколько недель планировал эксперименты с вирусом птичьего гриппа, общаясь с Claude. Фильтры безопасности сработали: система ограничила доступ, перенаправив пользователя на самые слабые модели в линейке.

Компания подчеркнула честную оговорку: она не может утверждать, что исследователи намеревались причинить вред. Та же информация, которая нужна для создания биологического оружия, может использоваться и для разработки вакцины.

Как устроена защита Claude изнутри?

На основании отчёта Anthropic можно выделить несколько уровней, на которых срабатывает безопасность Claude AI.

1. Географическая блокировка. Модели Claude недоступны пользователям из списка запрещённых стран. По данным отчёта, в этот список входят Россия, Китай и Иран. Попытки зайти из этих регионов блокируются на уровне аккаунта.

2. Фильтры содержания запросов. Когда пользователь формулирует промпт (запрос к модели), система анализирует его на потенциально опасное содержание. В описанном кейсе с птичьим гриппом фильтр не заблокировал диалог полностью, но переключил пользователя на самую слабую модель.

3. Анализ паттернов поведения. Исследователь «потратил недели» на планирование, а значит, вёл длительные сессии. Anthropic отслеживает последовательность запросов и выявляет цепочки, которые выглядят как систематическая работа над опасной темой.

4. Блокировка аккаунтов. Все учётные записи, упомянутые в отчёте, заблокированы. Anthropic не раскрывает критерии окончательной блокировки, но подтверждает факт бана.

5. Публичная отчётность. Сам отчёт, по словам компании, призван «начать разговор внутри индустрии ИИ и с правительствами о новых биологических рисках и способах противостоять им».

Что делать прямо сейчас, по ролям

Автору Дзена и копирайтеру. Если вы пишете о медицине, вирусологии, биотехнологиях, будьте готовы к тому, что Claude может отказать в ответе или переключить на упрощённую модель. Переформулируйте промпт, убрав двусмысленные термины, или прямо укажите, что готовите образовательный контент.

Маркетологу. Отчёт Anthropic подтверждает: компания активно мониторит использование моделей. Если вы строите продукт на API Claude, учитывайте, что аккаунт могут заблокировать за подозрительные паттерны запросов, даже без злого умысла.

Предпринимателю из РФ. Россия в списке запрещённых стран. Официальный доступ к Claude из России закрыт. Альтернативы для работы с ИИ-моделями в РФ: YandexGPT и GigaChat. Обе модели имеют собственные системы фильтрации контента.

Anthropic не раскрыла, в каких именно странах находились исследователи из каждого кейса, и не назвала институты. Это ограничивает проверяемость отчёта, но сам факт публикации конкретных сценариев, а не только обтекаемых обещаний, задаёт конкретный стандарт для индустрии. Если вы работаете с любой языковой моделью, проверьте, что ваши запросы не попадают в «серую зону» фильтров: переформулируйте цель ясно и конкретно.