Mask R-CNN и YOLO сравнили на битых машинах: модель в 4,6 раза меньше не уступила в точности

Обе нейросети выделяют объекты на фото по контуру. Это называется сегментацией: модель не просто ставит рамку, а обводит предмет. Разбор Максим опубликовал на Хабре. Он проверил на одном производственном наборе снимков и по единому протоколу сразу несколько рычагов, которые обычно изучают по отдельности.

Почему средняя цифра скрыла главный провал?

Задача звучала просто: на фото машины выделить кузовные детали и дефекты на них, то есть вмятины, царапины и сколы. Первая попытка выглядела успешной. Автор взял Mask R-CNN с весами, заранее обученными на большом открытом наборе фото COCO, дообучил её и получил приличную общую метрику.

Потом он посмотрел на результаты глазами. Двери, бамперы и фары модель обводила аккуратно, а царапина на двери пропадала или сливалась с маской самой двери. Трещины и коррозию модель почти не замечала, но среднее по всем классам это скрывало: крупных объектов много, и они тянут общую цифру вверх.

Набор данных был таким:

• 1812 изображений с разметкой по контуру;
• 29 классов, из них 21 вид деталей и 8 видов дефектов;
• 24 851 размеченный объект;
• перекос между классами больше 40 к 1;
• 11% масок меньше 100 пикселей, 34% меньше 1000.

Для проверки автор взял второй, открытый набор CarDD, тоже с повреждениями машин. Тестовую часть из 182 снимков он использовал один раз, только для итоговой оценки.

Компактная модель выигрывает по скорости и размеру

Главный довод в пользу лёгкой архитектуры дало прямое сравнение. Чтобы цифры были честными, автор оценивал обе модели одним и тем же кодом.

• YOLO11s-seg получила AP (средняя точность, основная метрика в таких задачах) 0,193.
• Mask R-CNN получила 0,189.
• YOLO при этом в 4,6 раза меньше, а инференс (работа уже обученной модели на новых снимках) у неё на порядок быстрее.

Второй довод касается настроек. Скорость обучения (насколько сильно модель меняет себя после каждой порции примеров) 0,001 вместо 0,0001 обрушила mIoU (долю совпадения обведённой моделью области с правильной разметкой) с 0,252 до 0,029. Удвоение данных с 200 до 400 снимков добавило лишь 0,007.

Третий довод объясняет, почему одни классы учатся, а другие нет. Качество почти не зависело от числа примеров, коэффициент связи около минус 0,23. Зато оно заметно росло вместе с площадью объекта на снимке: коэффициент от 0,68 до 0,74. Мелкое модель видит плохо, сколько ни добавляй образцов.

Почему рано списывать Mask R-CNN?

Разница в точности между моделями составила 0,004, это паритет, а не разгром. Все главные находки автор сделал как раз на Mask R-CNN, и тяжёлая модель хорошо отзывается на настройку. Комбинация BCE (двоичной перекрёстной энтропии) и Dice (меры совпадения очертаний) в функции потерь, то есть в правиле, по которому модель понимает, насколько ошиблась, дала плюс 15,8% AP на дефектах и плюс 14,7% на мелких объектах.

На трещинах AP с этой комбинацией впервые за всю серию стал стабильно ненулевым. Без предобученных весов Mask R-CNN на 400 снимках дала mIoU 0,001, а с ними от 0,252 до 0,263. Проблема была не в самой архитектуре, а в том, как её готовят.

Автор сам ограничивает выводы: в работе один основной набор данных и одно семейство моделей. Абсолютные цифры зависят от разрешения снимков и бюджета обучения.

В итоге у инженера с парой тысяч снимков нет ответа на простой вопрос: что крутить первым. : Максим, студент РТУ МИРЭА, автор разбора

Деталь, которую легко пропустить: рутину в проекте вели ИИ-агенты (программы, которые сами выполняют цепочку действий) Cursor и opencode. Они готовили настройки, ставили задачи в очередь и писали отчёты. Решения о том, что запускать и как понимать результат, оставались за человеком.

Что делать с этим автору, маркетологу и предпринимателю?

Автору Дзена этот урок пригодится за пределами компьютерного зрения. Если нейросеть хорошо пишет простые тексты, это не значит, что она справится с вашей сложной темой. Проверяйте её на самом трудном случае, а не на среднем.

Маркетологу полезна схема работы с агентами. Машина готовит, запускает и отчитывается, человек выбирает и трактует. Так можно выстроить и контент-план с ИИ.

Предпринимателю, у которого есть задача контроля по фото (осмотр товара, брак на линии), стоит начать с компактной модели и аккуратной настройки, а не с покупки мощного сервера. Основную серию экспериментов автор провёл на обычном ноутбуке с M2 Pro.

Ближайший год спор «большая модель или быстрая» будут решать не в пользу громкого имени, а в пользу того, кто умеет измерять. Компактные нейросети станут выбором по умолчанию там, где важны скорость и дешёвое железо. Мелкие дефекты останутся слабым местом любой архитектуры, пока их не начнут учить отдельно.