DeepSeek, ИИ, который «уничтожил» OpenAI и Nvidia, спровоцировал ответ: 120 компаний собрали альянс OSAA

Nvidia вместе со 120 с лишним компаниями за две недели собрала альянс Open Secure AI Alliance (OSAA), который уже предлагает открытые инструменты защиты ИИ-агентов и стандарты обмена данными об инцидентах.

Фон такой: администрация Трампа рассматривала запрет китайских моделей с открытыми весами (open weights, когда параметры модели доступны для скачивания и модификации). Индустрия отреагировала открытым письмом в Белый дом, которое поддержали Nvidia и более 200 компаний. Письмо призывало не душить открытые разработки в сфере ИИ, а развивать их. OSAA выросла из этого письма за считанные дни. Издание TechCrunch сообщило о деталях на конференции Black Hat в Лас-Вегасе, где альянс представил первые предложения.

Примечательно, что DeepSeek, китайская лаборатория с открытыми моделями, стала катализатором дискуссии о рисках иностранных моделей. Фраза «DeepSeek, ИИ, который уничтожил OpenAI и Nvidia» гуляла по заголовкам, но реальность сложнее: Nvidia не разрушена, а возглавила ответный ход, а OpenAI подписала то самое открытое письмо, хотя в сам альянс пока не вступила.

Что уже есть в арсенале OSAA?

Альянс создал рабочую группу Shared AI Findings Exchange (SAFE). Она занимается тремя направлениями:

• Конфиденциальное информирование об инцидентах кибербезопасности в сфере ИИ
• Оповещение пострадавших сторон
• Разбор инцидентов без поиска виноватых, чтобы все участники могли учиться на чужих ошибках

Предложения группы уже открыты для комментариев, а управляет процессом Linux Foundation (некоммерческая организация, которая курирует развитие Linux и десятков открытых проектов).

Кто что принёс в общий котёл?

Участники не просто подписались под манифестом. Они уже выложили конкретные технологии:

• Nvidia предоставила семейство открытых моделей и Garak, открытый сканер уязвимостей больших языковых моделей (LLM, модели, которые генерируют текст, код и ведут диалог). Garak проверяет, можно ли обмануть модель и заставить её выдать нежелательный результат
• Okta работает над технологией идентификации ИИ-агентов (agent identity), то есть над способом точно определить, какой агент выполняет действие и имеет ли он на это право
• Red Hat разрабатывает инструменты управления агентами (agent governance)
• Amazon внесла сразу два проекта: Strands Agents (открытый инструмент для сборки ИИ-агентов) и Cedar (язык авторизации, который описывает, что агенту разрешено, а что нет)

В альянс входят Adobe, BlackRock, Cisco, Intel, Microsoft, Visa, Hugging Face и другие.

Кого пока нет и почему это заметно?

Anthropic, OpenAI и Google в OSAA не вступили. При этом OpenAI и Google подписали исходное открытое письмо. Google давно поддерживает открытые проекты, обе компании выпускали модели с открытыми весами. По данным TechCrunch, сооснователь и технический директор Arcee (американская лаборатория, работающая с открытыми моделями) считает, что именно открытость лучший ответ на любую угрозу со стороны китайских лабораторий.

«Открытость может быть одним из важнейших путей к безопасности и защищённости ИИ» : Из открытого письма OSAA

Что понадобится

Если вы хотите использовать инструменты альянса для проверки своих моделей или агентов:

• Аккаунт на GitHub (большинство проектов размещены там)
• Python 3.8+ для запуска Garak
• Доступ к модели, которую хотите протестировать (локально или через API)
• Примерно 30 минут на базовую настройку и первый запуск

Пошаговая инструкция: как проверить LLM сканером Garak

1. Установите Garak через pip:

pip install garak

1. Запустите базовое сканирование вашей модели. Например, для модели, доступной через API OpenAI-совместимого сервиса:

garak --model_type openai-compatible --model_name your-model-name

1. Для локальной модели в формате Hugging Face:

garak --model_type huggingface --model_name meta-llama/Llama-2-7b-chat-hf

1. Дождитесь завершения. Garak прогонит набор атак: попытки извлечь системный промпт (скрытые инструкции, которые задают поведение модели), обход фильтров, инъекции промптов (prompt injection, когда злоумышленник через текст заставляет модель выполнить чужую команду)

2. Изучите отчёт. Garak покажет, какие атаки прошли, а какие модель отразила. Результат сохраняется в файл, который можно разобрать и передать команде

Что делать с этим прямо сейчас, по ролям

Авторам Дзена и копирайтерам. Если вы используете ИИ для генерации контента, проверьте, не выдаёт ли ваш чат-бот системный промпт по запросу читателя. Это реальный риск: ваши инструкции станут публичными.

Маркетологам. Когда строите ИИ-агента для клиентского сервиса, закладывайте аудит безопасности в бюджет. Инструменты OSAA бесплатны, но время на их освоение стоит денег. Зато стоимость утечки данных через незащищённого агента несопоставимо выше.

Предпринимателям в РФ и СНГ. Прямого участия российских компаний в OSAA нет. Но инструменты открыты и доступны. Garak можно скачать и запустить на своём сервере без ограничений по географии. Стандарты SAFE по обмену информацией об инцидентах можно адаптировать для внутренних регламентов.

Альянсу всего две недели, а у него уже есть рабочие инструменты, более 120 участников и открытый процесс обсуждения стандартов. Для тех, кто строит продукты на базе ИИ в России, это не повод ждать, а повод скачать Garak сегодня и прогнать свою модель через первый аудит.