Рекомендательные системы без облака: как собрать рабочую модель на открытом датасете за час

Большинство руководств по рекомендательным системам либо останавливаются на теории, либо требуют платных API. Здесь разбираем конкретную архитектуру, которую автор проекта RecSys-Coveo собрала на публичных данных и выложила с кодом. Машинное обучение в ней отвечает за финальное ранжирование, а не за весь пайплайн: сначала кандидатов отбирают граф, векторное сходство и популярность, и только потом LightGBM расставляет их по местам.

Что понадобится?

• Python 3.8+ и менеджер пакетов pip
• LightGBM (опенсорс-библиотека градиентного бустинга, ставится через pip)
• Датасет Coveo SIGIR eCOM 2021, Public Data Release 1.0.0 (скачивается бесплатно, содержит события просмотров, добавлений в корзину и покупок, а также готовые векторы описаний и изображений товаров)
• Репозиторий RecSys-Coveo (код проекта)
• Около 4 ГБ оперативной памяти для обработки 50 000 сессий
• Время: первый запуск с построением графа и обучением занимает от 30 минут до часа в зависимости от машины

Пошаговая инструкция

1. Разделите сессии на два периода. Первые 50 000 сессий (период A_G) идут на построение каталога, графа и статистик. Следующие 50 000 сессий (период B) идут на обучение ранжировщика. Это разделение принципиально: без него будущая покупка из B может превратиться в ребро графа и подсказать ответ для той же сессии.

2. Постройте граф товарных связей. Вершины графа это товары (SKU, то есть идентификаторы конкретных позиций). Между ними три типа направленных рёбер:

3. просмотр затем просмотр
4. просмотр затем добавление в корзину
5. просмотр затем покупка

После просмотра товара A ищите действия с другими товарами в той же сессии. Учитывайте только следующие десять блоков товарных событий и только действия не позднее 30 минут после просмотра A. Вес пары убывает экспоненциально с увеличением промежутка. Одна сессия добавляет ребру не больше единицы веса.

1. Отфильтруйте слабые связи. Ребро должно встретиться минимум в трёх сессиях. Для каждого товара и типа связи сохраняйте до 100 соседей с наибольшим весом. Товары с малой суммой весов дополнительно ослабляйте через параметр в знаменателе: без него единственный слабый сосед после нормировки получил бы балл, равный единице.

2. Добавьте векторное сходство по метаданным. Coveo предоставляет готовые векторы (числовые представления) описаний и изображений товаров. Обучать модели для их построения не нужно. Важно: у описаний и изображений разные пространства, их координаты между собой не складываются. Нормируйте векторы, постройте взвешенную сумму из просмотренных товаров и сравнивайте кандидатов по косинусному сходству (мера того, насколько два вектора «смотрят» в одну сторону: 1 означает полное совпадение направлений, 0 означает отсутствие связи).

3. Учтите поисковый запрос, если он есть. Берите последний поисковый блок перед моментом выдачи. Если он непригоден или старше десяти минут, источник отключается. Вектор запроса сравнивается только с векторами описаний, не изображений.

4. Обработайте пропущенные данные честно. Пропущенный вектор нельзя заменить нулём. Нулевое косинусное сходство бывает и у корректных перпендикулярных векторов. Вместе с баллом передавайте модели маску доступности, признак того, удалось ли рассчитать сходство.

5. Соберите до 300 кандидатов из всех источников. Граф, описания, изображения, поиск, недавние просмотры и историческая популярность дают отдельные списки со своими баллами. Квоты фиксируются до оценки. После объединения уникальных товаров может оказаться меньше суммы квот: один товар может прийти сразу из нескольких источников.

6. Рассчитайте признаки для каждого кандидата. Для каждого из 300 кандидатов соберите:

7. баллы по трём типам графовых связей
8. косинусное сходство по описаниям
9. косинусное сходство по изображениям
10. балл поискового запроса
11. маски доступности для каждого источника

12. статистики популярности из периода A_G

13. Обучите LightGBM на сессиях периода B. Модель получает признаки кандидатов и учится различать товары, которые посетитель затем купил, от остальных. Цель это различные SKU зарегистрированных покупок после момента выдачи в той же сессии. Окно наблюдения: 24 часа или последняя запись, что наступит раньше.

14. Разверните локальный HTTP API. Обученная модель принимает признаки кандидатов и возвращает до 20 рекомендаций, отсортированных по предсказанному баллу.

Что делать с этим прямо сейчас?

Автору Дзена. Рекомендательные системы машинного обучения определяют, какой контент увидит читатель. Понимание логики «граф плюс признаки плюс ранжировщик» помогает осознать, почему одни статьи получают показы, а другие нет: алгоритм работает с сигналами поведения, а не с «качеством текста» в абстрактном смысле.

Маркетологу. Если вы выбираете или настраиваете рекомендательный движок для интернет-магазина, эта архитектура показывает минимально жизнеспособный набор источников: поведенческий граф, текстовое и визуальное сходство, популярность. Закрытые SaaS-решения часто делают то же самое, но не дают заглянуть внутрь.

Предпринимателю в РФ. Весь стек открытый: данные Coveo доступны без ограничений по региону, LightGBM не требует облачных подписок, API разворачивается локально. Никаких санкционных рисков и зависимости от зарубежных сервисов.

Рекомендательные системы на машинном обучении не обязаны быть чёрным ящиком. Если у вас есть данные о поведении пользователей и каталог с метаданными, начните с графа, добавьте векторное сходство, отдайте признаки в LightGBM и разверните API. Код проекта RecSys-Coveo открыт, датасет бесплатен, а весь стек работает на вашей машине без единого внешнего вызова.