VK заменила ручную разметку 500 млн роликов нейросетью для поиска видео по описанию

Владислав Чернышев, руководитель группы качества поиска по видео в AI VK, описал переход от классических асессоров к VLM-асессору (VLM, мультимодальная языковая модель, которая «видит» кадры и «читает» текст запроса одновременно). Разметка нужна для трёх задач: трекинг качества поиска, обучение моделей ранжирования и обучение нейромоделей для векторного поиска. На масштабе 500 миллионов видео и 10 миллионов запросов в сутки ручной подход перестал справляться.

Что понадобится

• Мультимодальная модель. В VK взяли Qwen3-VL-4B (открытые веса, поддержка видеокадров и текста).
• Обучающие данные двух типов: большой корпус из поисковых логов, статей и постов для первого этапа дообучения (fine-tuning) и сбалансированная выборка с ручными метками для второго.
• Метод LoRA (дообучение через небольшие адаптеры, без полной переобучки модели) для финального выравнивания.
• Инфраструктура инференса (запуска модели на потоке данных): GPU-кластер, способный обрабатывать сотни тысяч пар «запрос плюс видео» в сутки.
• Команда асессоров для проверки спорных случаев и калибровки. Полностью убирать людей не получилось (подробности ниже).

Пошаговая инструкция

1. Соберите корпус для первого этапа дообучения. Включите поисковые логи вашего видеосервиса, тексты статей и постов, чтобы модель поняла домен: специфику запросов, сленг, названия шоу и артистов.

2. Проведите полное дообучение (full fine-tune) базовой VLM на этом корпусе. Модель должна научиться связывать текст запроса с визуальным содержимым кадров.

3. Подготовьте сбалансированную выборку для второго этапа. Базовой моделью отберите примеры так, чтобы каждый класс релевантности (от «идеально подходит» до «не имеет отношения») был представлен равномерно. Отдайте эту выборку асессорам для ручной проверки.

4. Выполните LoRA-дообучение на проверенной выборке. Это выравнивает оценки модели по стандарту, заданному людьми, без дорогой полной переобучки.

5. Запустите модель на потоке и сравните офлайн-метрики. В VK сравнивали NDCG (метрика ранжирования, показывающая, насколько верно расставлены результаты по убыванию полезности). Метрики модели совпали с метриками на данных от людей.

6. Не убирайте людей из контура. Оставьте асессоров для случаев, где модель даёт низкую уверенность, и для регулярной калибровки (см. раздел об ошибках ниже).

Где асессоры незаменимы, а где модель точнее?

Главная находка команды VK: полностью заменить человека не вышло. Первый подход, прямое замещение, дал офлайн-метрики на уровне ручной разметки. Но на практике модель спотыкалась на редких сценариях, которые требуют «вслушиваться в аудио, проверять зеркальность, искать перезаливы», как описывает Чернышев.

Именно поэтому итоговая архитектура гибридная: модель размечает массив, человек проверяет зону неуверенности. Для локального контента, где нужно отличить перезалив от оригинала или распознать зеркальный видеоряд, такой подход закрывает задачи, которые чистый ручной конвейер не масштабирует.

Что делать с этим прямо сейчас?

Авторам Дзена и видеоблогерам. Алгоритмы ранжирования обучаются на более точных данных. Перезаливы, зеркальные копии и фейковые обложки будут находиться и понижаться быстрее. Вкладывайтесь в оригинальный контент, это становится не просто этикой, а условием видимости в выдаче.

Маркетологам. Если вы закупаете размещения в VK Видео, учитывайте: поиск по низкочастотным запросам (вроде «кино про космос и пришельцев») улучшается. Нишевые ролики получат больше шансов попасть в выдачу, а значит, стоимость контакта в узких тематиках может снизиться.

Предпринимателям и разработчикам в РФ. Подход VK воспроизводим на меньшем масштабе. Модель Qwen3-VL-4B доступна как опенсорс (открытые веса). Метод LoRA-дообучения работает на одной-двух видеокартах. Если у вас есть собственный видеокаталог, маркетплейс или обучающая платформа с видео, гибридная разметка «VLM плюс человек» ускорит подготовку обучающих данных без потери качества.

Гибридная разметка в VK Видео, это не эксперимент, а работающий конвейер на 500 миллионов роликов. Главный вывод для практиков: нейросеть для поиска видео по описанию снимает потолок масштабирования, но контур человеческой проверки остаётся обязательным. Кто выстроит эту связку первым, получит и скорость, и точность.