Конкурент китайских ИИ признал: безопасность нейросетей не зависит от страны разработчика

Дискуссия о безопасности китайских ИИ-моделей обострилась на фоне слухов о возможном запрете со стороны администрации Трампа. OpenAI и Anthropic открыто выражают обеспокоенность. Открытые модели (модели с открытыми весами, то есть с доступной для скачивания «начинкой», но без данных и методов обучения) от Alibaba (Qwen) и Moonshot AI (Kimi K3) работают в разы дешевле закрытых американских аналогов. Именно это, по мнению Лукаса Аткинса, технического директора Arcee, и вызывает страх у крупных лабораторий: угроза не кибербезопасности, а их прибыли. Об этом сообщает TechCrunch.

Почему Аткинс считает китайские модели безопасными?

• Модель не «программа со шпионским кодом». Многие думают, что китайская нейросеть работает как обычная программа с заложенными намерениями. Аткинс объясняет: так модели не обучаются. Нельзя «приказать» модели передать данные разработчику.
• Нет обратного канала. Если компания скачала модель и запустила её на своих серверах, ни Alibaba, ни Arcee, ни кто-либо ещё не получит доступа к этой среде. Модель работает изолированно.
• Исходный код доступен для проверки. Хотя такие модели называют «открытыми весами», а не полноценным опенсорсом, код, который запускается на серверах, можно скачать с платформ вроде Hugging Face и проверить.
• Организации дообучают модели перед использованием. Крупные компании прогоняют модель через тесты на предвзятость, токсичность, галлюцинации (когда модель уверенно выдумывает факты) и чувствительность к определённым темам. Только после этого сотрудники начинают отправлять ей промпты (запросы).

Может ли модель вставить вредоносный код?

Аткинс допускает теоретическую возможность: достаточно изощрённый разработчик мог бы обучить модель так, чтобы при определённых условиях она генерировала код с уязвимостями. Но тут же добавляет: «Я не знаю, как это сделать».

Большие языковые модели по природе «творческие»: вероятность того, что современная модель выдаст вредоносный код в ответ на идеально спланированное стечение промпта и контекста, минимальна. А вероятность того, что компания затем этот код использует без проверки, ещё ниже.

К тому же бизнес строит ИИ-приложения так, чтобы они не зависели от одной модели и использовали несколько моделей одновременно. Даже если сегодня китайские модели лучше по соотношению цена-качество, компании не привязаны к ним навсегда.

Конкурировать, а не запрещать

Аткинс прямо говорит: вместо обсуждения запретов стоит развивать открытую экосистему в США.

Вместо разговоров о том, как запретить китайские модели, нужно обсуждать, как создать сильную открытую экосистему здесь, в США. : Лукас Аткинс, CTO Arcee

Примечательно, что Arcee сама пользуется достижениями китайских конкурентов. Компания изучает открытые модели, строит на их основе свои разработки, а китайские команды, в свою очередь, могут учиться у Arcee. Аткинс подчёркивает уважение к исследователям, которые стоят за этими моделями.

Его позиция сводится к одной фразе: способ победить китайские модели в том, чтобы выпустить модель лучше.

Что это значит для тех, кто работает в России?

• Авторам и контент-мейкерам на Дзене. Если вы используете Qwen или Kimi для генерации текстов, переводов, подбора идей, заявление Arcee снимает часть тревоги. Безопасность нейросетей с открытыми весами определяется тем, где и как вы их запускаете, а не тем, кто их сделал. Скачали, запустили локально или в облаке, данные не уходят разработчику.
• Маркетологам и предпринимателям. Российские компании активно применяют открытые китайские модели: они дешевле и часто не уступают закрытым западным аналогам, к которым из РФ доступ ограничен. Риск здесь не в «китайской угрозе», а в отсутствии собственной проверки: дообучайте, тестируйте на токсичность и галлюцинации, не отправляйте в модель конфиденциальные данные без изоляции.
• Тем, кто выбирает между моделями. В России доступны YandexGPT и GigaChat как закрытые отечественные решения. Открытые китайские модели (Qwen, Kimi K3) занимают другую нишу: их можно развернуть на своём сервере и полностью контролировать. Выбор зависит от задачи, а не от страны происхождения.

Частые вопросы

Китайские модели могут передать мои данные разработчику?

Нет, если вы скачали модель и запускаете её в своей среде. Открытые веса работают локально: модель не «звонит домой». Данные остаются там, где вы их обрабатываете. Но если вы пользуетесь облачным API китайского провайдера, ваши запросы проходят через его серверы, и тут действуют обычные правила доверия к любому облачному сервису.

Чем открытые веса отличаются от полностью открытого кода?

Открытые веса (open weights) означают, что вы получаете обученную модель и код для её запуска. Но методы обучения и обучающие данные (training data) остаются закрытыми. Полностью открытая модель (open-source в строгом смысле) раскрывает всё. Для проверки безопасности нейросетей достаточно доступа к весам и исполняемому коду: именно их можно проанализировать на уязвимости.

Стоит ли ждать запрета китайских моделей?

На момент публикации администрация Трампа не предприняла конкретных шагов. Аткинс считает, что запрет навредит американской экосистеме больше, чем поможет. Для пользователей в РФ вопрос пока не стоит: китайские модели доступны и активно применяются. Но держать архитектуру приложений модельно-агностичной (не привязанной к одному поставщику) разумно в любом случае.