Карта пробок по городским камерам без сбора видео: система TrafficFab передаёт только числа

Идея выглядит просто: вместо того чтобы тянуть тысячи видеопотоков на центральный сервер, каждую камеру превращают в счётчик машин. Наружу уходят лишь короткие записи о количестве и типе транспорта. Систему назвали TrafficFab и проверили на стенде из 400 видеопотоков. Именно этот подход описали исследователи IISc (Indian Institute of Science), а для российских городов он ценен тем же: камеры наблюдения принадлежат разным ведомствам, делиться сырым видео те не обязаны, а цифры о потоке машин передать проще и юридически, и технически.

Что понадобится?

• Камеры наблюдения с IP-доступом (подойдут уже установленные городские камеры, в Бангалоре их больше пяти тысяч)
• Компактные вычислительные узлы рядом с камерами: в стенде использовали Jetson (одноплатные компьютеры Nvidia со встроенной видеокартой для нейросетей) и рабочие станции с GPU (видеокартами для параллельных вычислений)
• 42 одноплатных компьютера Raspberry Pi для воспроизведения записей в роли «живых» камер (в реальной эксплуатации их заменяют настоящие камеры)
• Облачные ресурсы: публичное облако Amazon для сбора числовых данных и построения прогноза, частное облако для дообучения (обучения детектора на новых примерах)
• Детектор YOLO26s, дообученный на размеченных кадрах с местных дорог
• Время на развёртывание стенда: авторы не называют точный срок, но архитектура модульная, каждый слой собирается независимо

Пошаговая инструкция

1. Разверните «край сети» рядом с камерами. Установите вычислительные узлы (Jetson или станции с GPU) в пределах локальной сети каждой группы камер. Каждый узел принимает видеопоток по стандартному протоколу IP-камеры. В стенде IISc 29 устройств восьми разных типов обслуживали от 7 до 74 потоков каждое.

2. Подготовьте детектор под местные дороги. Стандартные детекторы ошибаются на нетипичном транспортном потоке. В Бангалоре трёхколёсники, грузовики и мотороллеры едут без разметки полос. Исследователи дообучили YOLO26s на размеченных кадрах с индийских перекрёстков. Для российского города потребуется аналогичная разметка местного трафика.

3. Настройте конвейер «детектор плюс трекер» на каждом узле. Кадры декодируются, собираются в пачки и уходят детектору. Затем трекер (алгоритм слежения) присваивает каждой машине постоянный номер на протяжении нескольких кадров, чтобы не посчитать её дважды. На выходе два ряда данных:

4. сколько машин каждого класса попало в кадр за секунду

5. пары «номер трека, класс» для каждого момента времени

6. Передавайте в облако только числа, не кадры. Облачный сервис принимает данные пачками по 15 секунд (интервал настраивается) и складывает их во временные ряды по камерам. В часовом прогоне на 400 камерах детектор давал до 48 тысяч обнаружений в секунду, и свыше 99% времени их было больше 40 тысяч.

7. Запустите планировщик распределения нагрузки. Планировщик решает, какое устройство обрабатывает какую камеру. Он ищет расстановку с минимальным суммарным энергопотреблением методом динамического программирования (точный пошаговый перебор вариантов, где на каждом шаге запоминается самый экономичный). Разница ощутимая: на 50 потоках одна расстановка требует 116 Вт, а другая 235 Вт.

8. Организуйте контур дообучения в частном облаке. Частное облако не участвует в пути от камеры до прогноза. Его задача поддерживать качество детектора: GPU-станции собирают и усредняют обновления модели, которые вычислили отдельные устройства на краю сети. Контур дообучения (federated learning, совместное обучение без обмена данными) решает, когда и на каком оборудовании подправить детектор.

9. Постройте карту пробок и краткосрочный прогноз. Облачный сервис на основе временных рядов оценивает текущую обстановку и строит прогноз. Ресурсы для прогноза выделяются динамически, когда данные одновременно запрашивают больше камер и приложений, например панели операторов.

Что делать с этим прямо сейчас, по ролям?

Авторам Дзена и контент-маркетологам. Если вы пишете о городских технологиях или ИИ, подход TrafficFab даёт готовый кейс для объяснения федеративной (распределённой) аналитики простым языком: видео не уезжает с камеры, уезжают только числа. Это понятная аналогия для любой темы, где данные нельзя собрать в одном месте.

Предпринимателям и разработчикам в РФ и СНГ. В российских городах камер наблюдения тысячи, и они тоже принадлежат разным ведомствам. Идея обрабатывать видео у камеры и передавать только агрегированные числа решает ту же проблему ведомственной разобщённости. Стенд собран на доступном оборудовании (Raspberry Pi, Jetson), облачная часть работает на Amazon, но может быть заменена на локальные или российские облака. Детектор потребует дообучения на местных данных: российский трафик отличается от индийского, но принцип тот же.

Маркетологам городских и транспортных сервисов. Карта пробок в реальном времени и пятиминутный прогноз без централизованного видео это аргумент для переговоров с муниципалитетами, которые не готовы делиться сырыми записями, но согласятся отдавать обезличенные счётчики.

Для российских городов путь открыт технически, а главный вопрос, как всегда, не в нейросетях, а в том, кто разрешит поставить одноплатный компьютер рядом с ведомственной камерой.