Три проверки качества эмбеддинг-моделей полностью перетасовали рейтинг на 4695 документах

Эксперимент, о котором пойдёт речь, проводился на реальном документообороте крупной компании. 4695 документов, 11 тем, 13 вариантов векторизации, эталон размечен людьми (каждый документ когда-то был направлен в конкретное подразделение живым сотрудником). Ни одна модель к разметке не причастна. Первая версия эксперимента, где эталон делала сама модель, была снята целиком: такая разметка давала «домашнее преимущество» и обнуляла честность сравнения.

Что понадобится

• Набор документов с ручной разметкой. Минимум несколько сотен, размеченных людьми по темам или типам. Разметка моделью не годится.
• Несколько моделей для сравнения. В эксперименте использовалось 13 вариантов: от нейросети на 3 миллиарда параметров до символьного метода без нейросети вовсе.
• Инструмент классификации. Простейший вариант: ближайший центр темы. Продвинутый: обучаемая надстройка поверх готовых векторов.
• Время. Полный цикл с тремя проверками занял у авторов полтора месяца. Одну проверку на небольшом наборе можно провести за день.

Пошаговая инструкция

1. Соберите эталон, размеченный людьми. Возьмите документы, которые сотрудники когда-то вручную распределили по подразделениям или папкам. Это и есть разметка. Не поддавайтесь соблазну попросить модель разметить за вас: тогда сравнение замыкается на себя.

2. Превратите каждый документ в эмбеддинг. Прогоните весь набор через каждую из выбранных моделей. На выходе у каждого документа список из нескольких сотен чисел, устроенный так, что близкие по смыслу тексты получают близкие векторы. Повторите для каждого кандидата.

3. Классифицируйте по ближайшему центру. Для каждой темы вычислите «центр» (среднее всех эмбеддингов документов этой темы), новый документ отнесите к ближайшему. Сравните точность моделей. В эксперименте лидерами оказались giga_480m и qwen3e_4b с одинаковыми 76,8 %.

4. Проверка первая: найдите дубликаты. Сгруппируйте документы по тексту (без использования эмбеддингов, чтобы не подыгрывать никому). Деловой документооборот монотонен: один контрагент, один шаблон, ежемесячный счёт, меняются только номер и дата. В эксперименте из 4695 документов уникальных оказалось лишь 1162, то есть 25 %. Пересчитайте точность, исключив из центра темы всю группу близнецов оцениваемого документа, а не только сам документ.

Результат эксперимента: все числа упали на 6–16 процентных пунктов. qwen3e_4b, деливший первое место, опустился на четвёртое. Символьный метод показал разрыв в 17 пунктов между документами с близнецами (67,8 %) и действительно новыми (50,7 %), это не понимание смысла, а сопоставление шаблонов. У нейросетевых моделей такого провала не обнаружилось.

1. Проверка вторая: смените правило классификации. Темы неоднородны: в эксперименте 11 тем распадались на 95 плотных подгрупп (акты, альбомы чертежей, задания на экспертизу в одной теме выглядят по-разному). Один центр на тему заведомо плохое правило. Используйте обучаемую надстройку поверх тех же векторов, без дообучения (fine-tuning) самих моделей.

Результат эксперимента: смена правила добавила каждой модели от 7 до 34 процентных пунктов, больше, чем вся разница между моделями. giga_480m, уверенный лидер, опустился на седьмое место. Наверх вышли символьные варианты, которым не нужна видеокарта. Первая пятёрка стала статистически неразличимой.

1. Проверка третья: проверьте устойчивость метрики. Если вы используете индекс ARI (Adjusted Rand Index, мера согласованности кластеризации), замерьте его разброс от случайной инициализации (random seed) алгоритма. В эксперименте разброс одной модели от разных запусков оказался сопоставим с разбросом между всеми моделями. Рейтинг по ARI был рейтингом случайных чисел, а не качества эмбеддингов. Автоматическая кластеризация «с нуля» не восстанавливала 11 тем ни для одного варианта: вместо 11 находилось 45–72 мелкие группы.

2. Параллельно сравните с прямым запросом к языковой модели. Отправьте текст в большую языковую модель с инструкцией назвать тип документа (договор, письмо, акт сверки, ТОРГ-12) без единого размеченного примера. В эксперименте на 2279 документах и 17 типах десять векторных вариантов из тринадцати оказались точнее лучшей из языковых моделей, работавших вхолодную.

Что делать с этим прямо сейчас?

Автору Дзена: если вы используете эмбеддинг для группировки статей, подбора похожих материалов или кластеризации тем, не доверяйте одной таблице сравнения моделей. Проверьте, нет ли в выборке дубликатов, и попробуйте сменить правило классификации, результат может измениться радикально.

Маркетологу: при автоматической сортировке клиентских обращений, отзывов, заявок выбор модели эмбеддинга менее критичен, чем выбор метода разметки эталона и правила отнесения к классу. Вкладывайте время в качество разметки, а не в погоню за лидером бенчмарка.

Предпринимателю в РФ и СНГ: десять векторных вариантов из тринадцати оказались точнее прямого запроса к облачной языковой модели на задаче определения типа документа. Это значит, что локальная система на эмбеддингах (не требующая отправки данных во внешнее облако) может работать лучше и дешевле. Из доступных в РФ моделей для экспериментов подходят GigaChat (включает эмбеддинги от Сбера) и модели с открытыми весами (open weights) семейства Qwen.

Главный вывод из этого эксперимента прост и неудобен: прежде чем сравнивать модели эмбеддингов, убедитесь, что ваша линейка измеряет то, что вы думаете. Три проверки подряд обнулили три рейтинга подряд, и каждый раз виновата была не модель, а способ измерения.