Классификация товаров для 15 млн SKU: три человека за месяц навели порядок в хаосе

Российская команда разработчиков за один месяц силами трёх специалистов создала классификатор товаров для металлопроката, способный обрабатывать массив до 15 миллионов позиций, где каждое наименование записано по-своему, с опечатками и без единого стандарта.

Задача выглядит узкоотраслевой, но за ней стоит проблема, знакомая любому бизнесу с большим каталогом: менеджеры вносят товары в CRM как придётся, тендерная документация диктует свои форматы, а внутренние регламенты у каждого свои. В итоге одна и та же стальная труба может быть записана десятком разных способов, и никакая сквозная аналитика невозможна.

Почему нельзя просто натравить нейросеть?

Команда прошла три подхода, прежде чем выбрала финальный. Сама эта цепочка проб полезна любому, кто думает о классификации товаров с помощью ИИ.

• ML-модель с эмбеддингами (векторными представлениями слов, когда каждое слово превращается в набор чисел, и похожие по смыслу слова оказываются рядом). Проблема: марки стали и ГОСТы, отличающиеся на один символ, дают почти одинаковые векторы, хотя означают совершенно разные продукты. Модель KNRM (она сравнивает каждое слово запроса с каждым словом документа) справлялась лучше, но потребовала размеченную выборку. При 7-8% опечаток и дублей в данных разметка стала бы дорогой и без гарантии качества.

• Локальная LLM (большая языковая модель, развёрнутая на собственном сервере). Использовали Qwen 3.8-27b через Ollama. Модель понимала сокращения и додумывала контекст: для «отвод для трубы 90° 57×3,5» верно определяла, что «отвод» ключевое слово, а «трубы» шум. Но для каждого товара приходилось формулировать дополнительные правила. Инференс (процесс, когда модель обрабатывает запрос и выдаёт ответ) требовал сервера с GPU, а модель могла галлюцинировать (уверенно выдавать неверную категорию). Отказались как от основного инструмента, оставили как запасной.

• Эмпирические правила на семантическом ядре (итоговый выбор). Развёрнутое бизнес-правило, которое работает с набором ключевых слов: учитывает их конфигурацию и на этой основе определяет категорию товара. Главное преимущество, по словам разработчиков, абсолютная интерпретируемость: всегда понятно, почему товар попал именно в эту группу.

Что этот классификатор открывает для бизнеса?

До его появления аналитика сезонности, прибыльности и маржинальности у металлотрейдеров не велась в разрезе товарных групп. Теперь, когда каждая позиция автоматически попадает в свою категорию, становятся доступны:

• Региональная аналитика продаж по группам товаров.
• Сезонная аналитика спроса.
• Связка товарных категорий с контекстной рекламой.

Первая рабочая версия покрыла весь массив товарных позиций. За месяц команда согласовала структуру каталога, сформировала семантическое ядро, реализовала предварительную обработку названий и запустила классификацию.

Как применить этот опыт в своём проекте?

1. Соберите «словарь хаоса». Выгрузите из CRM или базы данных все уникальные названия товаров. Оцените масштаб: сколько вариантов написания одного и того же продукта существует, какой процент содержит опечатки.

2. Определите, нужна ли вам LLM или хватит правил. Если ваш каталог содержит коды, артикулы, марки, где один символ меняет смысл, чистая нейросеть на эмбеддингах будет ошибаться. Правила на ключевых словах дешевле, прозрачнее и не требуют GPU.

3. Оставьте LLM как «второе мнение». Опыт этой команды показывает рабочую схему: основной классификатор на правилах, а языковая модель подключается для сложных случаев, где правила не справляются.

Есть ли аналоги в российских ИИ-сервисах?

Для задач классификации товаров в России можно рассмотреть YandexGPT и GigaChat. Оба сервиса принимают текстовые запросы и могут распределять товары по категориям через промпт (текстовую инструкцию для модели).

Но описанный кейс показывает, почему для промышленной номенклатуры «просто спросить нейросеть» недостаточно. Когда марка стали «12Х18Н10Т» отличается от другой на один символ, а разница в цене и свойствах кардинальная, нужна жёсткая логика правил, а не вероятностный ответ языковой модели.

Для авторов Дзена и маркетологов вывод другой: если вы работаете с товарным контентом, каталогами или партнёрскими витринами, этот подход к классификации товаров масштабируется на любую отрасль, от стройматериалов до запчастей.

Частые вопросы

Можно ли использовать этот подход без программистов?

В чистом виде нет: классификатор построен на Python, семантическом ядре и правилах, которые писали разработчики. Но саму идею «сначала правила, потом нейросеть для сложных случаев» можно реализовать проще. Например, начать с фильтров и формул в таблицах, а для неоднозначных позиций вручную проверять через YandexGPT или GigaChat.

Почему не взяли ChatGPT или другую облачную модель?

Команда использовала локальную модель Qwen, развёрнутую на своём сервере через Ollama. Для работы с коммерческими данными клиентов (цены, объёмы, контрагенты) это логичное решение: данные не уходят на сторонние серверы. Облачные модели при таком объёме позиций были бы ещё и дороги по стоимости запросов.

15 миллионов позиций, это реальный объём одного трейдера?

Крупные металлотрейдеры работают с тысячами сделок, в каждой из которых десятки товарных строк. За годы работы в CRM накапливаются миллионы записей. Учитывая, что одну и ту же трубу можно записать десятком способов, 15 миллионов уникальных SKU (складских единиц, то есть уникальных товарных записей) для нескольких крупных заказчиков вполне реалистичная цифра.

Главный урок этого проекта: не каждая задача требует нейросети, иногда дешевле и надёжнее написать умное правило, а модель оставить для случаев, где правило буксует.