Нейросети берут на себя качество данных в 1С:MDM, от поиска дублей до автоклассификации

Проблема знакома любому, кто работает с корпоративными справочниками: данные деградируют, дубли множатся, а классические методы очистки (сравнение строк, ручные правила) не справляются с масштабом. Сервис SOFROS AI/ML предлагает гибридный подход: байесовский классификатор, семантический поиск на базе языковых моделей BERT (модель, которая «понимает» смысл фразы, а не просто совпадение букв) и экстракция характеристик через NER (Named Entity Recognition, распознавание именованных сущностей, то есть выделение из текста конкретных параметров вроде «сечение жилы 2,5 мм²»). Всё это работает через расширение для 1С:MDM редакции 2.5 и локальный сервер в Docker-контейнере.

Что понадобится

• 1С:MDM «Управление нормативно-справочной информацией», редакция 2.5 с установленным расширением SOFROS AI/ML
• Docker-контейнер с автономным сервером SOFROS AI/ML (поддерживает Windows и Linux)
• Доступ к настройкам расширения: вкладка «Sofros AI/ML» → «Настройки подключения к серверу Sofros AI/ML»
• Справочник с реальными данными, на котором сервис будет учиться (чем больше записей и чем разнообразнее номенклатура, тем быстрее модель набирает точность)
• Время на первичную настройку: от одного рабочего дня на развёртывание и калибровку порогов

Как внедрить нейросети в управление качеством данных: пошаговая инструкция

1. Разверните сервер взаимодействия. Запустите Docker-контейнер SOFROS AI/ML. Сервер реализован на микросервисной архитектуре, управляет моделями, оркестрирует (распределяет задачи между ними) их работу и предоставляет REST API (интерфейс для обмена данными между программами по сети) для связи с 1С.

2. Установите расширение в 1С:MDM. Файл расширения встраивается в конфигурацию 1С:MDM 2.5. После установки в интерфейсе 1С появляется вкладка «Sofros AI/ML» со всеми настройками.

3. Настройте общие параметры подключения. Укажите адрес сервера, режим логирования и модели по умолчанию для сквозных операций. Общие настройки задают глобальные ограничения, а поведение конкретной модели (например, классификации) корректируется отдельно.

4. Откалибруйте модель классификации. Задайте пороги вероятности и уверенности. Эти два параметра работают в связке:

5. порог вероятности определяет, насколько модель «уверена» в своём предсказании

6. порог уверенности помогает отсечь ложноположительные срабатывания (когда модель ошибочно считает два разных элемента одинаковыми) и ложноотрицательные (когда реальный дубль остаётся незамеченным)

7. Настройте семантический поиск. Здесь главная задача: баланс между точностью и скоростью. Включение реранкера (модуль, который «перепроверяет» и пересортировывает результаты поиска) повышает качество, но требует дополнительных вычислительных ресурсов. Для семантического поиска фразы «сечение жилы» и «сечение токопроводящих жил» считаются одним и тем же, и создание такого дубля можно запретить настройкой.

8. Настройте интеллектуальных ассистентов. Задайте промпты (текстовые инструкции для модели) и алгоритмы их заполнения для каждого конкретного сценария использования.

9. Создайте экземпляры моделей из шаблонов через команду «Создать модель из шаблона» и привяжите их к нужным справочникам.

10. Запустите этап наблюдения. Сервис начинает анализировать действия пользователей, накапливает обучающие данные (training data, примеры, на которых модель учится) и обучает модели в реальном времени. На этом этапе нейросети для качества данных ещё не вмешиваются в процесс, а только смотрят и запоминают.

11. Переведите в режим подсказок. Когда уверенность моделей вырастет, сервис начнёт предлагать варианты заполнения. Пользователь принимает или отклоняет, и каждое решение дообучает (fine-tuning, обучение модели на ваших примерах под узкую задачу) систему дальше.

12. Включите автоматизацию. При высокой точности прогнозов сервис обрабатывает записи самостоятельно, а пользователю остаётся финальная валидация.

Что делать с этим прямо сейчас, по ролям

Автору Дзена и контент-менеджеру. Если ведёте каталог товаров или базу знаний, принцип тот же: нейросети находят семантические дубли, которые глаз пропускает. Даже без SOFROS можно проверять справочники через ChatGPT или YandexGPT, загружая фрагменты и прося найти одинаковые по смыслу позиции.

Маркетологу. Грязные данные в CRM и каталогах означают кривую аналитику и лишние расходы на рекламу. Подход «наблюдение → подсказки → автоматизация» применим к любой системе, где накапливаются карточки и справочники. Спросите у IT-отдела, какая MDM-система используется и есть ли у неё ИИ-расширения.

Предпринимателю в РФ. SOFROS AI/ML и 1С:MDM, это российское решение, которое разворачивается локально, без передачи данных за рубеж. Для тех, кто работает с 1С (а это подавляющее большинство бизнеса в России), порог входа ниже, чем у зарубежных аналогов вроде Informatica или Talend, потому что интерфейс и логика остаются внутри знакомой среды.

Трёхступенчатая модель «наблюдение → подсказки → автоматизация» работает не только для справочников в 1С: она применима везде, где есть повторяющиеся решения, накапливаемый опыт и цена ошибки, которую проще поймать на этапе подсказки, чем исправлять после автоматической обработки тысяч записей.