Взлом Fireworks AI раскрыл стенограммы чатов пользователей с ИИ, Notion узнала через 10 дней

Взлом Fireworks AI раскрыл стенограммы чатов пользователей с ИИ. Это следует из сообщения самой Notion. Fireworks AI поставляет инфраструктуру для ИИ, то есть арендует серверы и запускает на них модели для других компаний. Notion подключала её для части моделей своего ИИ-помощника, и через этого подрядчика утекли чаты в небольшом числе рабочих пространств.

Что нового известно об утечке?

• 23 октября злоумышленник проник в среду разработки Fireworks AI через стороннего облачного провайдера.
• У некоторых клиентов Fireworks под угрозой оказались метаданные ресурсов, платёжная информация, веса моделей (внутренние настройки, которые и делают модель моделью) и наборы данных.
• Это второй случай за месяц у одного и того же подрядчика. В начале октября хакеры получили доступ к служебным настройкам Fireworks с API-ключами (электронными пропусками, по которым одна программа заходит в другую) ограниченного числа учётных записей.
• Утекли чаты, которые Fireworks анализировала для функции «Аналитика» (Insights). Через неё администраторы рабочих пространств видят, как команда пользуется ИИ. Сейчас функция отключена.
• Затронуто менее 1% пользователей Notion.

Fireworks AI отвечала в Notion AI за инференс (работу уже обученной модели над вашим запросом) части моделей с открытыми весами. Открытые веса означают, что модель опубликована и её может запустить у себя любой подрядчик.

Хронология выглядит так. Второго ноября Notion получила от Fireworks уведомление о раскрытии набора данных, якобы синтетического. Notion в ответ перекрыла передачу данных подрядчику, удалила свою информацию из его систем и к третьему ноября остановила обучение моделей. Восьмого ноября Fireworks подтвердила доступ к данным клиентов, включая пользователей Notion.

В чатах не было указано, кто именно их вёл или из какого рабочего пространства они поступили; кроме того, стенограммы не содержали результатов вызова инструментов. : из сообщения Notion

Как проверить, задело ли вас?

1. Проверьте почту и уведомления Notion. По заявлению компании, если уведомления не получили ни вы, ни владелец рабочего пространства, делать пока ничего не нужно.
2. Владелец рабочего пространства открывает раздел «Анализ инцидентов безопасности» (Security incident review) в веб-версии Notion на компьютере.
3. Там же владелец даёт участникам ссылку, по которой каждый скачает расшифровки своей переписки.
4. Если вы в затронутых чатах вводили пароли, API-ключи или другие данные для входа, смените их.

Касается ли это тех, кто работает с YandexGPT и GigaChat?

Сам инцидент касается только Notion и Fireworks AI. Но урок общий для любого ИИ-помощника, включая доступные в РФ аналоги YandexGPT и GigaChat. Чат с нейросетью хранится на чужих серверах и может пройти через подрядчиков, о которых вы не знаете.

Что делать автору, маркетологу и предпринимателю прямо сейчас?

Автору Дзена: пишите с ИИ тексты и планы публикаций, но не вставляйте в промпт пароли от кабинета, личные данные героев материалов и неопубликованные эксклюзивы.

Маркетологу: проверьте, какие клиентские данные команда загружает в чаты с ИИ. Брифы с бюджетами и контактами лучше обезличить до того, как они попадут в нейросеть.

Предпринимателю: если команда работает в Notion, назначьте одного человека проверить уведомления и раздел об инцидентах. Заодно впишите в регламент правило: ключи доступа и пароли в чат с ИИ не попадают никогда.

Какие вопросы задают чаще всего?

Видно ли в утёкших чатах, кто их вёл?

По словам Notion, нет. В стенограммах не указаны автор и рабочее пространство, а результатов работы подключённых инструментов там тоже нет.

Нужно ли что-то делать, если уведомления не было?

По заявлению Notion, нет. Действовать нужно тем, кому пришло уведомление лично или через владельца рабочего пространства.

Вернётся ли функция «Аналитика»?

Сейчас она отключена, о сроках возвращения Notion не сообщила. Пока её нет, привычку держать пароли подальше от чатов с ИИ стоит завести самим, без подсказок со стороны сервиса.