Рекомендательные системы без облака: открытый проект собирает 20 товаров из 300 кандидатов на одном ПК

Разработчица опубликовала пошаговый проект RecSys-Coveo, который на реальных обезличенных данных интернет-магазина строит рекомендательные системы для «холодного» посетителя, того, о ком магазин ещё ничего не знает, и выдаёт до 20 товаров через локальный HTTP API.

Проект выложен на GitHub как открытый репозиторий. Он использует набор данных Coveo SIGIR eCOM 2021 (обезличенные записи просмотров, корзин, покупок и поисковых запросов реального магазина) и градиентный бустинг LightGBM (алгоритм машинного обучения на деревьях решений, быстрый и нетребовательный к ресурсам) для финального ранжирования. Рекомендательные системы машинное обучение здесь применяют без тяжёлых нейросетей и без облака: всё работает локально.

Что решает проект и почему это сложная задача?

Ситуация знакомая: человек открыл карточку товара, но магазин не знает ни его историю, ни предпочтения. Что показать рядом? Проект предлагает конкретный ответ.

• Граф товаров вместо профиля покупателя. Система строит направленный граф: вершины это товары, рёбра показывают, что после просмотра одного товара посетители смотрели, добавляли в корзину или покупали другой. Узнавать конкретного человека между визитами не нужно.
• Шесть источников кандидатов, до 300 товаров. Граф переходов, сходство описаний, сходство изображений, история поисковых запросов, ранее просмотренные товары и популярные позиции. Квоты на каждый источник ограничивают перекос.
• LightGBM ранжирует финальную двадцатку. Из 300 кандидатов алгоритм отбирает до 20 рекомендаций, используя признаки из графа и метаданных товаров.
• Работает без метаданных. Автор отдельно обучила и проверила вариант без описаний и картинок, потому что в реальном магазине метаданные не всегда доступны на каждую дату.

Как устроена оценка качества?

Целью считается покупка, зарегистрированная строго после момента рекомендации, в пределах 24 часов той же сессии. Повторные покупки одного товара учитываются один раз.

Автор честно оговаривает ограничение: из данных нельзя узнать, все ли покупки попали в выгрузку. Если записи о покупке нет, это не доказательство, что человек ничего не купил. Качество считается только среди сессий, где покупка зафиксирована.

Рекомендации выдаются после первого просмотра товара с корректным идентификатором (SKU, уникальный код товара в каталоге). За одну сессию оценивается ровно одна выдача.

Как попробовать?

1. Откройте репозиторий RecSys-Coveo на GitHub и клонируйте его на свой компьютер.
2. Установите зависимости по инструкции в репозитории и скачайте набор данных Coveo SIGIR eCOM 2021.
3. Запустите обучение модели и поднимите локальный HTTP API, код для этого есть в проекте.
4. Отправьте запрос с идентификатором товара и получите до 20 рекомендаций в ответ.

Есть ли аналоги для российского рынка?

В России рекомендательные системы встроены в крупные платформы. Ozon и Wildberries используют собственные алгоритмы рекомендаций, но их код закрыт. Яндекс публиковал отдельные инструменты (CatBoost, библиотека градиентного бустинга), однако готовой открытой рекомендательной системы с данными и API для самостоятельного запуска, сравнимой с RecSys-Coveo, на российском рынке нет.

Для тех, кто хочет разобраться в теме на русском языке, полезен сам подход проекта: он показывает, как рекомендательные системы машинное обучение применяют без нейросетей и без облачной инфраструктуры, на одном компьютере.

Частые вопросы

Нужен ли мощный компьютер для запуска?

Нет. LightGBM нетребователен к ресурсам, а граф и векторы сходства рассчитываются заранее. Проект работает локально, без GPU и без облака. Обычного ноутбука должно хватить для воспроизведения на данных Coveo.

Можно ли подставить свои данные вместо Coveo?

Архитектура проекта привязана к формату Coveo (сессии, SKU, векторы описаний и изображений). Чтобы использовать свои данные, придётся адаптировать пайплайн (последовательность обработки данных): привести логи к тому же формату и заново обучить модель. Код открыт, так что это реализуемо, но не «из коробки».

Чем этот подход отличается от рекомендаций на нейросетях?

Здесь нет глубокого обучения. Кандидатов находят через граф переходов и готовые векторы, а ранжируют градиентным бустингом. Это проще в настройке, быстрее в инференсе (получении результата от модели) и прозрачнее: для каждой рекомендации видно, откуда она пришла и по какому типу связи.

Проект полезен как учебный стенд и как отправная точка для тех, кто строит рекомендательные системы без бюджета на облако и без команды ML-инженеров.