Разрезали снимок на фрагменты: мелкие дефекты почти вдвое точнее, крупные вдвое хуже

В первой части Максим сравнивал Mask R‑CNN (нейросеть, которая находит объекты на фото и обводит их контуром) и YOLO на тех же производственных снимках. Закончил он на тайлинге, то есть нарезке кадра на фрагменты, чтобы мелкие объекты не сжимались вместе со всем снимком. Во второй части он проверил этот приём на своей модели. Итог укладывается в заголовок: разрезали снимок на фрагменты, и то, что помогло мелким дефектам, сломало крупные.

В чём суть эксперимента с нарезкой?

Снимки в наборе небольшие, в медиане около 714×479 пикселей, и перед подачей в сеть их ещё уменьшают. Скол краски в несколько пикселей после такого сжатия почти исчезает. По расчётам автора, при входе 512 около 41% дефектов становятся меньше 8 пикселей, а среди деталей кузова таких всего 1,6%.

Если считать AP (среднюю точность, главную метрику качества детектора) отдельно по размерам, получается лестница. Чем крупнее объект, тем выше качество, а на самых мелких оно почти нулевое. Общая цифра выглядит прилично только за счёт крупных деталей кузова.

Схема тайлинга, которую описывает автор:

• порезать снимок на фрагменты;
• каждый фрагмент растянуть до входного размера сети;
• искать объекты на фрагментах;
• вернуть найденное в координаты исходного снимка и убрать дубли;
• отдельно прогнать снимок целиком, чтобы не потерять крупные объекты.

Сама схема давно описана в научной литературе. Трудность, по словам автора, в двух вопросах: на каких данных учить модель и как склеивать найденное на разных масштабах.

Аргументы за: нарезка вытаскивает сколы, которые сеть раньше не видела

Самый дешёвый вариант: модель не трогать, а резать только тестовые снимки. AP на мелких объектах вырос на 9,4%, mIoU (насколько точно найденный контур совпадает с настоящим) на 8,8%.

Это согласуется с работой SAHI (Akyon и соавторы, 2022). В ней нарезку применяли на инференсе, то есть при работе уже обученной модели на новых снимках. На наборах VisDrone и xView нарезка без переобучения добавила детекторам FCOS, VFNet и TOOD от 5,1 до 6,8% AP, а с дообучением (обучением модели на нарезанных примерах) от 12,7 до 14,5%. Сам автор предупреждает, что данные и метрика у него другие, поэтому цифры напрямую сравнивать нельзя.

Лучший промежуточный результат дала смесь масштабов. В обучение пошли целые кадры, фрагменты в исходном разрешении и сильно увеличенные фрагменты вперемешку. Провал на целом кадре почти закрылся, объекты размером от 10 до 20 пикселей заметно прибавили, а качество на мелких дефектах выросло почти вдвое.

Аргументы против: крупная вмятина распадается на обрывки

У нарезки есть цена. Каждый снимок теперь обрабатывается в 3 или 4 раза дольше, потому что модель прогоняется по каждому фрагменту отдельно.

Модель, дообученная только на фрагментах, с нарезкой на тесте стала лучше, но на целом кадре оказалась хуже исходной. Попытка резать совсем мелкие куски и сильно их увеличивать закончилась провалом. Общий AP на целом кадре упал примерно на треть, а полнота (доля дефектов, которые модель вообще нашла) вдвое.

Смесь масштабов спасла мелкое, но качество на крупных дефектах просело примерно вдвое. Большая вмятина при нарезке попадает во фрагменты по частям, модель учится на обрывках без краёв, и на тесте один дефект рассыпается на несколько частичных находок. Обычная склейка дублей по порогу перекрытия с этим справляется плохо: куски, которые почти не пересекаются, она не объединяет.

Решения в литературе есть. Авторы работы про Spatial Mask Merging (журнал MDPI Mathematics, 2025) соединяют соседние контуры одного класса в граф, находят группы и сливают каждую в один контур. Зато в препринте (статье до рецензирования) про дефекты печатных плат, arXiv:2605.24726, наблюдался обратный эффект. Там YOLO12n, обученный на целых снимках, при нарезке почти ничего не находил, тогда как у Максима Mask R‑CNN перенёс её спокойно.

Почти каждая попытка что‑то чинила и одновременно что‑то ломала. : Максим, студент РТУ МИРЭА

Что делать с этим прямо сейчас, по ролям

• Автору Дзена, который пишет про ИИ: это готовый сюжет о том, почему одной цифре качества верить нельзя. Объясняйте читателю на примере сколов и вмятин, это понятнее любой формулы.
• Маркетологу, который продаёт или покупает решения с компьютерным зрением: требуйте от подрядчика качество отдельно по размерам объектов. Если в отчёте только общий процент, вы не узнаете, что модель теряет половину крупных повреждений.
• Предпринимателю, который думает о проверке фото в автосервисе, страховании или на производстве: заложите в бюджет рост времени обработки в 3 или 4 раза. Просите проверить нарезку на ваших снимках, потому что эффект, по выводу автора, зависит от модели и данных.

Дальше всё решит обещанная отдельная статья с алгоритмом и библиотекой. Если автор покажет, что крупные дефекты вернулись без потери мелких, у русскоязычных разработчиков появится проверенный на реальных автомобильных снимках рецепт. Если нет, его история останется полезным примером того, что общая метрика может расти, пока модель теряет половину крупных дефектов.