Классификация игровых действий в волейбольном видео: нейросеть путает атаку и пас

Ниже его опыт пересказан в виде инструкции: как задать четыре типа действий, где геометрия обманывает и почему готовая видеомодель приписывает удар не тому игроку. Готового рецепта с гарантией не будет. Будет список проверок, которые можно повторить на своих роликах.

Тема заметки звучит так: анализ волейбольного видео, фиксация и классификация игровых действий. Раньше автор учил модель находить игроков на площадке, теперь он пробует понять, когда игрок касается мяча и что именно делает. Он прошёл четыре подхода: геометрические правила, готовые видеомодели, собственную модель RAVEL и переделку чужой архитектуры TTNet.

Что понадобится для старта?

• Видео матчей, снятые с разных ракурсов и в разном масштабе игроков.
• Модель, которая обводит игроков рамкой (прямоугольником вокруг человека в кадре).
• Траектория мяча, то есть его положение на каждом кадре.
• Разметка (ручные пометки на видео, по которым модель учится) под каждую новую задачу.
• PyTorch (бесплатная библиотека для обучения нейросетей) и доступ к GitHub (площадке, где разработчики выкладывают открытый код).
• Время на разметку. Сколько его ушло, автор не называет.

Пошаговая инструкция: от рамки игрока до касания

1. Задайте классы и честно назовите их условными. Автор взял четыре: подача (serve), приём (receive), пас (set) и атака (attack). Потом признал, что смешал задачу действия в розыгрыше и технику его выполнения.

2. Опишите классы через технику. Приём подачи, защита после атаки и передача партнёру решают разные игровые задачи, поэтому автор перешёл на упрощённые определения:

3. приём: обработка мяча в основном двумя руками снизу;

4. пас: передача в основном двумя руками сверху;
5. атака: удар обычно одной рукой выше головы;

6. подача: ввод мяча в игру.

7. Найдите кандидатов на касание геометрией. Логика первого варианта выглядит так:

если мяч у верхнего края рамки игрока, то кандидат на пас сверху если мяч ближе к середине рамки, то кандидат на приём снизу если касанием начинается розыгрыш, то кандидат на подачу

1. Сразу проверьте правила на другом видео. Пороги, подобранные под один ролик, на нём работают. На записи с новым ракурсом или масштабом игроков правила начинают ошибаться.

2. Вырежьте короткий клип вокруг момента касания и отдайте его видеомодели. Автор пробовал MoViNet-A2, R(2+1)D-18 и X3D-S. Это свёрточные видеомодели: нейросети, которые смотрят на серию кадров и замечают не только внешний вид объектов, но и их движение.

3. Учтите настройки каждой модели. У моделей и их предобученных весов (знаний, полученных на чужих данных) разные рекомендуемые разрешения, число кадров и шаг между ними. Одинаковые клипы для всех не означают одинаковых условий эксперимента.

4. Привяжите действие к игроку отдельным шагом. Классификатор клипа отвечает на вопрос «что происходит во фрагменте?», но не «кто это сделал?».

5. Сузьте задачу, если модель путает типы. Собственная модель автора RAVEL находила касания, но чаще всего путала атаку и пас. Тогда он оставил ей только поиск касания, без определения типа.

6. Посмотрите на архитектуры из соседних видов спорта. Автор нашёл на GitHub неофициальную реализацию TTNet на PyTorch, сети для настольного тенниса. Она ищет мяч в два этапа: сначала грубо на уменьшенных кадрах, затем точно в вырезанной области исходного разрешения. Ещё она определяет события вроде отскока от стола и делит кадр на смысловые зоны.

7. Обучите на свою задачу и не спешите с выводами. Вместо отскока от стола автор учил сеть видеть касание игроком. Метод он сам называет «вайб-ML-обучением», и с пятой попытки модель начала предсказывать игровые действия.

Что делать с этим прямо сейчас, по ролям

Автору Дзена, который пишет про спорт или технологии: эта история даёт готовую структуру материала, где показан не успех, а последовательность гипотез и ошибок. Читателю такая честность полезнее рекламного «нейросеть всё видит».

Маркетологу спортивного проекта стоит учесть: распознать касание и правильно назвать действие с игроком пока разные по сложности задачи. Обещания «полной автоматической статистики» лучше проверять на ваших записях.

Предпринимателю и тренеру, который заказывает видеоаналитику: спросите подрядчика, как система привязывает действие к конкретному игроку и на каком независимом наборе видео измерена точность. Если ответа нет, перед вами демонстрация, а не продукт.

Главный урок этой истории: сначала разделите задачу на части, потом выбирайте нейросеть, и проверяйте каждое правило на чужом ролике раньше, чем на своём.