mAP50 = 0,991 оказалась фикцией: как утечка данных обманывает компьютерное зрение в робототехнических системах

Проблему описал разработчик утилиты dataset-doctor на примере учебного датасета medical-pills из документации Ultralytics. Датасет содержит 115 фотографий таблеток (точнее, кадров одного видеоролика), разбитых на 92 обучающих и 23 валидационных. После дообучения YOLO11n за 22 минуты на процессоре Ryzen 7 метрика mAP50 (средняя точность при пороге пересечения 50%) показала 0,991. Выглядит как готовый детектор. Но проверка через dataset-doctor обнаружила, что у каждого из 23 валидационных кадров есть почти точная копия в обучающей выборке. Валидация измеряла не способность модели узнавать новые таблетки, а то, насколько хорошо она запомнила старые.

Зачем проверять метрики и кому это нужно?

mAP50 (mean Average Precision при IoU 50%, то есть средняя точность при минимальном перекрытии рамки с реальным объектом на 50%) это стандартная метрика качества в задачах детекции. Когда обучающие и валидационные данные пересекаются, метрика технически корректна, но ни о чём не говорит.

Для тех, кто строит компьютерное зрение в робототехнических системах, на производственных линиях, с камер дронов или регистраторов, это критично. Видеокадры соседних моментов почти идентичны. Случайное разбиение через стандартный train_test_split гарантирует утечку.

Что понадобится

• Python 3.8 или новее
• Установленная библиотека Ultralytics (для работы с YOLO)
• Утилита dataset-doctor (ставится одной командой из репозитория на GitHub)
• Любой датасет в формате YOLO (папки train и val с изображениями и разметкой)
• 10 минут на проверку до начала обучения

Пошаговая инструкция

1. Установите dataset-doctor. Откройте терминал и выполните:

pip install git+https://github.com/8MVR3/dataset-doctor.git

1. Запустите проверку на вашем датасете. Укажите путь к папке, где лежат подпапки train и val:

dataset-doctor datasets/medical-pills --out report.html

Утилита сгенерирует HTML-отчёт с перечнем найденных проблем и степенью их критичности.

1. Откройте отчёт и найдите секцию про дубликаты между выборками. Утилита использует dHash (разностный хеш, difference hash), алгоритм, который сжимает картинку до строки из 64 бит и сравнивает пиксельные переходы. Два кадра считаются почти копиями, если отличаются не больше чем на 6 бит из 64.

2. Оцените масштаб проблемы. В случае medical-pills отчёт показал 73 пары похожих кадров между train и val. Из 23 валидационных кадров у трёх расстояние до ближайшего обучающего равно нулю (полное совпадение хешей), у 17 отличие не больше 2 бит. Ни одного по-настоящему нового кадра в валидации нет.

3. Разберитесь в причинах. Если ваши данные взяты из видео, посмотрите на имена файлов. В medical-pills файлы назывались Frame_24, Frame_308 и так далее, номера шли через 4 без пропусков. Весь датасет оказался каждым четвёртым кадром одного ролика длиной около 460 кадров.

4. Исправьте разбиение. Если данные из одного видео, честное разделение на train и val невозможно в принципе: источник один. Для реальных проектов делите данные не по кадрам, а по сценам, роликам, локациям или дням съёмки. Каждая группа связанных кадров целиком уходит либо в train, либо в val.

5. Повторите обучение и сравните метрики. После честного разбиения mAP50 может упасть с 0,99 до 0,6 или 0,7. Это не провал, это реальная оценка того, как модель справится с данными, которых она не видела.

from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.train(data="medical-pills.yaml", epochs=60, imgsz=640, batch=16)
metrics = model.val()

Что с этим делать по ролям?

Автору на Дзене, который пишет про технологии или делает обзоры ИИ-инструментов: не публикуйте скриншот с mAP 0,99 как доказательство, что «детектор готов». Проверьте данные перед обучением, иначе рискуете дать читателям завышенные ожидания.

Маркетологу и продакт-менеджеру: если подрядчик показывает метрику 0,99 на компьютерном зрении, спросите, как делили данные на обучение и проверку. Попросите отчёт dataset-doctor или аналогичной утилиты. Утечка данных это не редкость, а норма для видеодатасетов без правильного разбиения.

Предпринимателю в РФ и СНГ: YOLO и dataset-doctor работают локально, без облака и без подписок. Для производственных задач (контроль качества на конвейере, подсчёт объектов с камеры) утечка между train и val означает, что модель в продакшене будет работать заметно хуже, чем на тестах. Проверка занимает 10 минут и спасает от переделки проекта.

Если вы работаете с видеоданными, запустите dataset-doctor до обучения, а не после. Десять минут проверки стоят дешевле, чем неделя отладки модели, которая «в тестах работала отлично, а в жизни промахивается мимо каждого второго объекта».