Компьютерное зрение on premise на CPU

Comexp Research Lab опубликовала результаты совместного проекта с ГК «Барс». Команда «Ночного глаза» взяла платформу TAPe+ML, собрала собственный набор данных из дневных, ночных и тепловизионных кадров, обучила модель распознавания и встроила её в связку RGB-камеры с тепловизором. Система прошла испытания на воде и получила положительную оценку заказчика. Теперь обе стороны готовят локальную коммерческую версию.

Что измеряли?

Задача звучит просто: научить бортовую камеру катера не только показывать картинку, но и выделять на ней буи, лодки, брёвна и другие препятствия. Ночью, на воде, при слабой видимости.

Для этого команда «Ночного глаза» использовала платформу TAPe+ML. TAPe (Transformation-Agnostic Processing Engine) позволяет строить компактные модели компьютерного зрения, которые по качеству сопоставимы с тяжёлыми архитектурами, но работают на обычном процессоре. Модель не требует GPU (видеокарты для параллельных вычислений) и не обращается к облаку.

Метод оценки: модель проверяли на двух стандартных бенчмарках. ImageNet-1k, это классификация изображений по тысяче категорий (набор из миллиона фотографий, на котором принято сравнивать точность моделей). COCO, это обнаружение объектов на сложных сценах, где в одном кадре могут быть десятки предметов. Метрика mAP50-95 (mean Average Precision, средняя точность при разных порогах совпадения рамки) показывает, насколько точно модель находит и локализует объект.

Отдельно команда собрала собственный датасет (набор данных для обучения): кадры с RGB-камер, ночные записи и тепловизионные снимки. На позднем этапе датасет содержал 2 205 тренировочных и 506 валидационных изображений.

Что обнаружили?

• Компактность без потери качества. Модель с менее чем 100 000 параметров достигла 88,1% точности на ImageNet-1k и 65,3% mAP50-95 на COCO. Для сравнения масштаба: популярные модели семейства YOLO содержат миллионы параметров и обычно требуют GPU.
• Работа на CPU без интернета. Компьютерное зрение в робототехнических системах здесь развёрнуто полностью локально, на борту катера. Ни облачных запросов, ни выделенной видеокарты.
• Малый объём данных для нового класса объектов. Для первой попытки обучения распознаванию брёвен хватило 10 тренировочных и 5 валидационных изображений. Это означает, что добавить новый тип объекта можно быстро, не собирая тысячи снимков.
• Тепловизор плюс RGB в одном потоке. Датасет объединяет дневные, ночные и тепловизионные кадры, модель обучена работать с обоими каналами.
• Разделение компетенций ускорило внедрение. Со стороны «Ночного глаза» CV-компонент (computer vision, компьютерное зрение) вёл один специалист, Илья Егоров. Аппаратная команда развивала камеры. Платформа TAPe+ML позволила перейти к прикладной задаче, не разрабатывая архитектуру модели с нуля.

Что это значит для вас?

Автору Дзена и контент-маркетологу. Тема «ИИ на борту без облака» даёт конкретный кейс для материалов о практическом применении нейросетей в России. Не абстрактный ChatGPT, а камера на катере, которая сама подсвечивает буй в темноте. Такие истории собирают вовлечение, потому что читатель видит результат, а не обещание.

Предпринимателю и производителю оборудования. Если ваш продукт работает там, где нет стабильного интернета (суда, склады, стройплощадки, сельхозтехника), модель на CPU с менее чем 100 000 параметров меняет экономику: не нужно покупать GPU-модуль и платить за облачный трафик. Comexp Research Lab, российская лаборатория, платформа TAPe+ML доступна для интеграции.

Разработчику. Платформа закрывает цикл от разметки до API: загрузка данных, ручная и автоматическая разметка, обучение, анализ результатов, API для интеграции. Один специалист без опыта в архитектурах компьютерного зрения провёл весь путь от датасета до рабочего прототипа.

Стоит следить за выходом коммерческой версии «Ночного глаза» и за публикацией on-premise модели, которую Comexp Research Lab анонсировала в ближайшее время: если полевые данные подтвердят лабораторные, у производителей оборудования в России появится готовый инструмент для встраивания зрения в любое устройство без серверов и без связи.

По данным Comexp Research Lab