OpenAI выпустила классификатор изображений против CSAM: модераторам на 48% меньше проверок
OpenAI выпустила новый классификатор изображений, программу-сито для поиска запрещённых картинок, и предупреждения в ChatGPT для борьбы с CSAM, материалами сексуального насилия над детьми, на фоне исков о вреде детям.

OpenAI выводит защиту за пределы ChatGPT. Отдельные компании бесплатно получают классификатор через API (программный вход, через который один сервис подключается к другому), а разработчики на её инструментах получают готовые правила по защите детей.
Раньше ChatGPT просто блокировал CSAM и связанные с ним запросы. Теперь, по сообщению OpenAI, к блокировке добавились предупреждения, суточная заморозка аккаунта, классификатор для чужих площадок, правила для разработчиков и инструменты для полиции. Фон у объявления такой: некоммерческая организация Common Sense Media назвала технологии OpenAI «неприемлемым риском» для подростков, а чат-бот Grok использовали для создания сексуализированных изображений людей без их согласия, в том числе детей.
Классификатор помечает на 48% меньше картинок и находит столько же
Классификатор ищет визуальные признаки насилия на изображениях, которых раньше нигде не встречалось, включая сгенерированные ИИ. Каждой картинке он выставляет оценку, и эта оценка подсказывает проверяющему, куда смотреть в первую очередь.
Разработку вели вместе с NCMEC, американским Национальным центром по делам пропавших и эксплуатируемых детей. Доступ к инструменту OpenAI распространяет через объединения Tech Coalition и ROOST.
В ранних тестах с партнёрами классификатор помечал на 48% меньше изображений и при этом находил столько же картинок с насилием. Помеченное им изображение оказывалось запрещённым в два раза чаще. Учтите: эти цифры привела сама OpenAI, независимой проверки классификатора источник не упоминает.
Что изменилось в ChatGPT для обычного пользователя?
Если пользователь пишет промпт, который сексуализирует детей, ChatGPT показывает предупреждение. Затем сервис направляет человека к специализированной помощи, которая помогает остановить вредное поведение, и замораживает аккаунт на 24 часа. При повторных нарушениях аккаунт могут удалить навсегда.
Тексты предупреждений OpenAI составляла вместе с организацией Protect Children, Фондом Люси Фейтфулл и Джоэлом Сканланом из Тасманийского университета. Сканлан независимо оценивал пробный запуск таких сдерживающих сообщений.
Для полиции, которая занимается защитой детей, OpenAI готовит отдельные плагины (подключаемые модули), инструменты для расследований и сложный анализ данных. Доступом управляют администраторы программы. Следователей также обучают и выдают им полевое руководство по работе с ИИ.
Что понадобится площадке, чтобы встроить защиту?
- Сервис, куда пользователи загружают картинки или где ИИ их генерирует.
- Правила OpenAI для разработчиков по предотвращению, обнаружению и приёму жалоб на CSAM.
- Живой модератор: классификатор только ставит оценку, решение остаётся за человеком.
- Канал для отчётов о найденных материалах. Сроки подключения OpenAI не называла.
Как подключить защиту по шагам?
- Проверьте, касается ли это вас: принимает ли ваш сервис изображения от пользователей или создаёт их.
- Изучите правила OpenAI для разработчиков. По данным компании, в ранних тестах они помогли ряду разработчиков внедрить инструменты защиты детей.
- Уточните доступ к классификатору. Его получают отдельные компании, бесплатно, в том числе через Tech Coalition и ROOST. Критерии отбора OpenAI не раскрыла.
- Постройте очередь модерации по оценке классификатора: сначала проверяются картинки с высокой оценкой.
- Настройте отчётность. Разработчики из тестов регистрировались для отчётов в NCMEC. Если вы работаете вне США, порядок для своей страны выясните у юриста.
Допустим, модераторы площадки разбирали условную сотню помеченных картинок в день. При результатах из ранних тестов OpenAI в очереди осталось бы около 52 картинок при том же числе найденных нарушений. Освободившиеся часы уходят на внимательную проверку спорных случаев.
Считать оценку классификатора приговором. Это подсказка проверяющему, а не решение.
Ждать доступа по умолчанию. Классификатор получают только отдельные компании.
Проверять границы ChatGPT «ради эксперимента». Попытка промпта, который сексуализирует детей, обернётся заморозкой аккаунта на сутки, а повтор может закончиться удалением.
Что делать с этим прямо сейчас, по ролям
Автору Дзена. Если вы пишете о детях, школе или семье и генерируете иллюстрации, формулируйте промпты нейтрально и по делу. Фильтр нацелен на сексуализацию, а обычные семейные сюжеты к ней отношения не имеют.
Маркетологу. Если вы запускаете конкурсы с пользовательскими фото, заранее заложите модерацию в бюджет. Инструменты вроде этого сокращают ручную проверку, но человека из процесса не убирают.
Предпринимателю в России и СНГ. О доступе к классификатору для компаний из России источник ничего не сообщает. Из доступных в РФ нейросетей это YandexGPT и GigaChat, но о подобных инструментах у них источник не пишет. Модерацию детских материалов планируйте своими силами и с юристом.
На мой взгляд, главная новость тут не предупреждения в ChatGPT, а то, что OpenAI отдаёт классификатор другим площадкам бесплатно. Если у вас есть сервис с загрузкой картинок, следите за этой программой и заранее наведите порядок в модерации. Честная оговорка: все цифры эффективности пока исходят от самой компании, поэтому стоит подождать независимых проверок, а до тех пор держать живого модератора. Этот шаг выглядит ответом на иски и критику, но польза от него от этого не меньше.
Работайте с нейросетями без риска для аккаунта
На dzen.guru мы разбираем, как писать промпты и создавать контент с ИИ так, чтобы он проходил фильтры и приносил пользу читателям.
Перейти на dzen.guru
Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также

Google открыла AdMob для ИИ-агентов: часть ручной настройки рекламы возьмёт на себя ИИ
Google добавила в AdMob, рекламную платформу для мобильных приложений, чат-помощника Ask AdMob и готовые сценарии для автоматизации кода, причём сценарии…

ИИ превращает патчи в атаки без человека: Google не связывает это с кибератакой на Лукойл
Google в новом отчёте AI Threat Tracker заявила, что злоумышленники поручают ИИ превращать свежие исправления в программах в готовые атаки без участия…

Gemini Notebook превращает заметки в интерактивные сайты: хватит команды «make me a site»
Google запустила в Gemini Notebook создание интерактивных сайтов из заметок, исследований и источников, и с сегодняшнего дня функция раскатывается по всему…
Комментарии