VK раскрыла архитектуру нейропоиска контента Discovery AI: ответ за 500 мс на петабайтах данных

До сих пор авторы и маркетологи видели только результат: лента рекомендаций показывала одни публикации и скрывала другие. Теперь команда AI VK опубликовала подробный разбор технологии нейропоиска контента изнутри. Источник публикации, статья Евгения Астафурова на Хабре. Это редкий случай, когда крупная российская платформа открывает архитектуру поиска и ранжирования до уровня конкретных цифр производительности.

Что стоит за Discovery AI?

Discovery AI это набор технологий для поиска, рекомендаций и взаимодействия с контентом внутри экосистемы VK. По словам разработчика, в него вошли:

• Нейропоиск контента на основе большой языковой модели (LLM, модель, обученная на огромных массивах текста и способная генерировать ответы).
• Анализ контекста и персонализация для подстройки выдачи под конкретного пользователя.
• Генеративные модели для формирования ответов.
• Рекомендательные алгоритмы, объединяющие всё перечисленное.

Технология работает с многомиллиардной контентной базой VK и будет поэтапно внедряться в Дзен, VK, VK Видео, медиапроекты Mail и другие сервисы.

Как устроен нейропоиск контента внутри?

Система состоит из нескольких слоёв, каждый из которых отсеивает лишнее и оставляет релевантное.

• Два типа поиска работают в паре. Текстовый поиск BM25 находит документы по точным словоформам и редким терминам. Семантический нейропоиск (ANN, Approximate Nearest Neighbors, поиск ближайших соседей) ищет по смыслу: понимает синонимы и размытые запросы. Вместе они покрывают весь спектр, от конкретного «как настроить монетизацию Дзена» до абстрактного «интересный контент про путешествия».
• «Блендер» смешивает результаты. Кандидаты из разных вертикалей (типов контента) объединяются через модифицированный алгоритм round-robin (механизм поочерёдного отбора). Каждому источнику присваивается динамический вес. Дубли и перезаливы удаляются.
• Нейросетевое «бутылочное горлышко». Даже после смешивания результаты ещё грубые. Специальная модель на основе BERT (трансформер, тип нейросети для понимания текста) режет каждый документ на фрагменты (чанки) до 320 токенов (токен, минимальная единица текста для модели, примерно одно слово или его часть), оценивает релевантность каждого фрагмента к запросу и формирует фиксированный контекст для LLM.
• Агентный сценарий Deep Research. Для сложных запросов создан многошаговый поиск и анализ, когда ИИ-агент (программа, выполняющая цепочку действий самостоятельно) последовательно ищет, проверяет и собирает ответ.

Какие оптимизации дали скорость менее 500 мс?

Главная цифра: задержка от отправки запроса до первого токена ответа составляет менее 500 мс. По данным статьи, модель обрабатывает до 5 тысяч документов (около 30 тысяч чанков) в секунду на одном GPU среднего потребительского уровня.

Ключевые решения, которые обеспечили такую скорость:

• Собственный токенизатор BPE (Byte-Pair Encoding, метод разбиения текста на токены), обученный на контенте из соцсетей и новостей. Фертильность (количество токенов на слово) составила 1,2, то есть 12 токенов на 10 слов текста, при словаре в 128 тысяч единиц. По данным Астафурова, это самая низкая фертильность среди всех открытых моделей для русскоязычного контента из соцсетей. Одна только эта оптимизация дала прирост скорости инференса (вычисления ответа моделью) примерно на 50%.
• Подбор гиперпараметров модели с учётом особенностей GPU: размерности, операторы и порядок исполнения настроены так, чтобы снизить эффект квантования волн (GPU Wave Quantization, потеря производительности из-за неоптимальной загрузки вычислительных блоков видеокарты).
• Синтетические датасеты из миллиардов размеченных примеров для обучения семейства BERT-подобных трансформеров.

Что это значит для тех, кто работает на платформах VK?

Авторам Дзена и VK. Нейропоиск контента Discovery AI будет определять, какие публикации пользователи увидят в поиске и рекомендациях. Система понимает смысл, а не только ключевые слова. Это значит: тексты, точно отвечающие на вопрос читателя, получат больше шансов на показ, даже если в них нет буквального совпадения с поисковым запросом.

Маркетологам. Персонализация и контекстный анализ меняют экономику продвижения. Покупать трафик «на ключевые слова» станет менее результативно, чем создавать контент, который отвечает на реальные запросы аудитории.

Предпринимателям в РФ. Discovery AI уже работает внутри VK и будет расширяться. Это полностью российская разработка, никакой зависимости от зарубежных сервисов и рисков блокировок.

Есть ли аналоги за рубежом?

Прямое сравнение корректно только по архитектурным подходам, не по масштабу: Google обрабатывает весь интернет, Discovery AI работает внутри экосистемы VK.

Частые вопросы

Нейропоиск контента уже работает в Дзене?

Технология разрабатывается внутри AI VK и, по словам Астафурова, будет поэтапно внедряться в Дзен, VK, VK Видео и медиапроекты Mail. Точные даты запуска для каждого сервиса не раскрыты.

Нужно ли авторам что-то менять в своих текстах?

Система ищет по смыслу, а не только по точным словам. Это значит, что тексты с чётким ответом на конкретный вопрос получат приоритет над материалами, просто набитыми ключевыми фразами. Менять стоит подход: начинайте публикацию с прямого ответа.

Можно ли использовать эти оптимизации в своих проектах?

Часть подходов, описанных Астафуровым (обучение токенизатора на собственных данных, оптимизация длины чанков, использование BERT-моделей для ранжирования), применима к любому поисковому проекту. Конкретный код и модели VK не опубликованы как открытые.

Для авторов и маркетологов, работающих на площадках VK, главный вывод прост: нейропоиск контента ставит смысл выше формулы. Пишите так, чтобы первый абзац отвечал на вопрос, а не обещал ответить позже.