Игорь Градов
Игорь Градов
5 мин
ai

OpenAI закрыла рассуждения от дистилляции нейросетей: успешных атак стало 0,2% вместо 54%

OpenAI опубликовала разбор защиты от дистилляции нейросетей, то есть обучения чужой модели на её ответах, и связала это с ростом возможностей моделей: копия сильной модели может работать без её ограничений.

Почему это важно

Компания рассматривает такое копирование не только как кражу интеллектуальной собственности, но и как угрозу безопасности. Защиту от него она приблизила к той, что стоит на запросах о биологии и кибербезопасности. В новой GPT-6.2 Astra доля успешных атак на скрытые рассуждения упала с 54% до 0,2%.

Что Когда Кто выпустил Цена
Обновлённая защита от дистилляции в GPT-6.2 Astra и GPT-6.2 Sol Дату источник не называет OpenAI Не указана

Сама по себе дистилляция служит обычным приёмом машинного обучения: одна модель учится на данных, которые выдала другая. OpenAI в своей публикации описывает её враждебную версию. В ней кто-то без разрешения собирает ответы передовой модели, обучает на них свою и запускает её уже без сопоставимой защиты.

Пример из публикации: злоумышленник перенимает у модели навыки в кибербезопасности и затем использует копию для атак, в которых оригинал отказал бы. Обратите внимание на формулировку: опасность компания видит не в одном запросе, а в тысячах безобидных ответов, собранных вместе.

Что нового в защите OpenAI?

  • Охрана скрытых рассуждений. Модель, прежде чем ответить, проходит промежуточные шаги, это называют цепочкой рассуждений (chain-of-thought). В ней бывает то, чего нет в итоговом ответе, поэтому для копировщика она ценнее всего.
  • Защита на уровне запроса. Поведение модели, проверки классификаторами (программами-фильтрами, которые распознают подозрительные запросы) и ограничения в API мешают вытащить рассуждения. API это программный доступ к модели, через который к ней подключают другие сервисы.
  • Защита на уровне кампании. OpenAI ищет закономерности в запросах и аккаунтах, по которым видно скоординированные попытки выкачать возможности модели.
  • Обучение на чужих атаках. Модель учат узнавать попытки выудить рассуждения и отказывать, но при этом отвечать на обычные просьбы что-то объяснить. Примеры берут из успешных атак, найденных внутренним ред-тимингом (когда специалисты и программы нарочно атакуют модель, чтобы найти дыры) и расследованиями.
  • Цифра. Во внутренней проверке с автоматическим ред-тимингом доля успешных атак составила 54,0% против GPT-6 Astra со старой защитой и 0,2% против GPT-6.2 Astra с новой.

Полные рассуждения учат копию лучше, чем краткие пересказы

OpenAI проверила это на себе. Модель, которая выдаёт обучающие данные, называют учителем, а ту, что на них учится, учеником. Учеников дообучали (дообучение, это подгонка модели под задачу на готовых примерах) в основном на записях работы моделей уровня Astra над программированием и защитой от кибератак.

После дообучения ученик на полных рассуждениях в целом обошёл ученика на кратких пересказах. После дополнительного обучения с подкреплением (модель учится методом проб, получая оценку за результат) картина усложнилась. Ученик на полных рассуждениях выиграл при самом большом бюджете на вычисления, а ученик на пересказах при меньших.

Результат неоднозначный, и компания это не скрывает. Её вывод: полные рассуждения учат навыкам, которые выходят за рамки исходных задач. Поэтому их закрывают, даже когда сама задача разрешена правилами.

Логика идёт от двойного назначения. Модель, которая помогает найти уязвимость в программе, поможет и воспользоваться ею. Модель для биологических исследований теоретически поможет создать опасный патоген.

Как проверить это на себе?

  1. Посмотрите, что показывает вам модель OpenAI при сложной задаче. По данным компании, пользователю видны итоговый ответ, краткое изложение рассуждений и действия с инструментами, а полная цепочка остаётся скрытой.
  2. Просите объяснить ход решения обычным промптом. OpenAI утверждает, что на законные просьбы об объяснении модель продолжает отвечать.
  3. Не пытайтесь хитрыми промптами вытянуть скрытые рассуждения. Модель обучена отказывать, а система анализирует сигналы на уровне аккаунтов.
  4. Если собираете ответы ИИ, чтобы обучить свою модель, сначала проверьте правила сервиса. Враждебной компания считает именно дистилляцию без разрешения.

А что с YandexGPT и GigaChat?

Из доступных в РФ аналогов это YandexGPT и GigaChat. Как их разработчики защищаются от дистилляции, источник не сообщает, поэтому сравнивать их по этой публикации нельзя.

Что делать с этим прямо сейчас, по ролям?

  • Автору Дзена. Для статей и постов ничего не меняется: модель по-прежнему объясняет решения. Тема хорошо ложится в материал «почему ИИ не показывает, как думает», читателям 50+ это объяснение пригодится.
  • Маркетологу. Если агентство строит свой инструмент на массовой выгрузке ответов чужой модели, это теперь зона риска. Система ищет закономерности в аккаунтах, а не в отдельных запросах.
  • Предпринимателю РФ и СНГ. О доступности GPT-6.2 Astra и GPT-6.2 Sol в России источник не сообщает. Для своих продуктов закладывайте легальные пути: открытые модели с открытыми весами или договор с поставщиком.
Где подвох

Все цифры получены во внутренних проверках OpenAI, независимой оценки в публикации нет. Компания не называет, кто именно пытался копировать её модели, и не раскрывает дату запуска защиты. Исследование о передаче навыков показано на двух тестах, и компания обещает продолжать проверки на других учениках.

Мнение редакции dzen.guru

На мой взгляд, самое ценное здесь не цифра 0,2%, а признание: безобидные ответы, собранные тысячами, превращаются в опасный навык. Оговорка тоже честная: при малых вычислениях краткие пересказы учили не хуже. Что сделать автору сегодня: попросите модель объяснить решение своей задачи по шагам и сравните с тем, как рассуждаете вы. Так вы увидите, какую часть мышления ИИ отдаёт вам, а какую оставляет при себе.

Что спрашивают о дистилляции нейросетей?

Дистилляция нейросетей это всегда плохо?

Нет. Это обычный приём машинного обучения. OpenAI выступает против враждебной версии: без разрешения и с запуском копии без защиты.

Станут ли модели OpenAI хуже объяснять?

Компания утверждает, что нет: модель учат отказывать только на попытки выудить скрытые рассуждения, а на обычные просьбы объяснить она отвечает.

Что даёт эта новость обычному пользователю?

Понимание правил. Пересказ рассуждений, который вы видите, это осознанная граница, а не сбой. Работайте с ним, а не воюйте: просите объяснение по шагам и проверяйте каждый шаг сами.

Поделиться:TelegramVK
Игорь Градов
Игорь Градов

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».

Комментарии

Читайте также

Что такое ИИ-агент для аналитика ЮMoney: пять рутинных задач без потери контроля
ai

Что такое ИИ-агент для аналитика ЮMoney: пять рутинных задач без потери контроля

Системные аналитики ЮMoney перешли от разовых вопросов нейросети к системе цифровых помощников, которые ищут контекст задачи, проверяют документацию и…

5 мин
Gemini распознаёт вызов о лесных пожарах за 30 секунд: жители успели эвакуироваться
ai

Gemini распознаёт вызов о лесных пожарах за 30 секунд: жители успели эвакуироваться

Американский сервис Watch Duty в июле 2026 года впервые разослал ночное экстренное оповещение о пожаре, потому что инструмент на Gemini распознал вызов сквозь…

5 мин
Графовые нейросети против счётчика без обучения: в Лиме и Чикаго выигрыш зависел от задачи
ai

Графовые нейросети против счётчика без обучения: в Лиме и Чикаго выигрыш зависел от задачи

Исследователи проверили на данных Лимы и Чикаго, помогают ли графовые нейросети предсказывать преступления следующего дня, и опубликовали обзор, включая…

5 мин