Эмбеддинги нейросети для русского языка: какую модель выбрать и не потерять дни на эксперименты

Эмбеддинги нейросети превращают текст в набор чисел (вектор), где близкие по смыслу фразы получают близкие числовые значения. Это основа семантического поиска, кластеризации текстов, обнаружения дубликатов и плагиата. Выбор конкретной модели зависит от языка ваших данных, размерности вектора, скорости работы и бюджета. Ниже разберём каждый критерий и дадим конкретные шаги.

Что понадобится

• Python 3.8+ и библиотека sentence-transformers (устанавливается командой pip install sentence-transformers)
• Доступ к Hugging Face (бесплатная регистрация на huggingface.co) для загрузки открытых моделей
• GPU с 4+ ГБ видеопамяти для моделей до 200M параметров или 8+ ГБ для моделей от 400M параметров (можно начать на CPU, но медленнее)
• Набор текстов на русском языке для проверки качества (хотя бы 50 пар «запрос и релевантный документ»)
• Примерное время: 1,5 часа на первый запуск и сравнение двух моделей

Пошаговая инструкция

1. Определите задачу и язык данных. Семантический поиск, классификация, кластеризация? Если тексты на русском или смесь русского с английским, сразу исключайте чисто англоязычные модели вроде all-MiniLM-L6-v2 или all-mpnet-base-v2. Они заточены под английский и на русском дают слабый результат.

2. Выберите тип архитектуры. Классические эмбеддеры строятся на архитектуре encoder-only (только кодировщик: текст превращается в вектор). Сюда относятся BERT и SBERT. Современные модели, например Qwen3-Embedding, используют архитектуру decoder-only (авторегрессивная генерация, то есть модель предсказывает текст слово за словом) и показывают высокие результаты на бенчмарках (стандартных тестах для сравнения моделей). Qwen3-Embedding-8B набирал 70.58 на MTEB, а KaLM-Gemma3-12B показывает 72.32.

3. Сузьте выбор до конкретных моделей. Для русского языка основные кандидаты:

4. ai-forever/sbert_large_nlu_ru: 427M параметров, лицензия MIT, создана для задач понимания языка и sentence-embeddings (векторов предложений)

5. DeepPavlov/rubert-base-cased: 180M параметров, 12 слоёв, размерность 768, лицензия Apache-2.0, базовая модель
6. DeepPavlov/rubert-base-cased-sentence: та же архитектура, но дообученная на датасетах SNLI/XNLI, даёт качественные векторы предложений сразу, без дополнительной настройки
7. ai-forever/ru-en-RoSBERTa: дообучена на 4 миллионах англо-русских пар, поддерживает оба языка, лицензия MIT

Если нужна мультиязычность (50 и более языков), смотрите на LaBSE (109 языков), BGE-M3 (более 100 языков), серию multilingual-e5 (около 94 языков).

1. Оцените размерность вектора и требования к памяти. Размерность определяет, сколько нюансов модель способна уловить, но влияет на объём хранения и скорость поиска:

2. Вектор 384 измерений (float32) для 1 миллиона документов занимает примерно 1,5 ГБ

3. Вектор 1024 измерений (float32) для того же объёма занимает примерно 4,1 ГБ
4. Мультиязычные модели обычно дают размерность от 768 до 4096, что выше, чем у англоязычных (384 до 768)

Для большинства бизнес-задач на русском языке размерности от 384 до 768 достаточно. Для тонких смысловых различий (юридические, медицинские тексты) берите 1024 и выше.

1. Загрузите модель и проверьте на своих данных. Установите библиотеку и запустите тест:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('ai-forever/sbert_large_nlu_ru')

sentences = [
    'Как расторгнуть договор аренды',
    'Порядок прекращения арендных отношений',
    'Рецепт борща с говядиной'
]

embeddings = model.encode(sentences)

from sklearn.metrics.pairwise import cosine_similarity
print(cosine_similarity([embeddings[0]], [embeddings[1]]))  # ожидаем высокое значение
print(cosine_similarity([embeddings[0]], [embeddings[2]]))  # ожидаем низкое значение

1. Сравните минимум две модели на одном наборе данных. Замените имя модели на DeepPavlov/rubert-base-cased-sentence и повторите тот же код. Сравните cosine similarity (косинусное сходство, мера близости двух векторов от 0 до 1) для релевантных и нерелевантных пар. Модель, которая лучше разделяет «похожее» от «непохожего» на ваших реальных текстах, и есть ваш выбор.

2. Проверьте результаты на бенчмарках. Загляните на MTEB Leaderboard на Hugging Face. Фильтруйте по языку Russian и по вашей задаче (Retrieval, Clustering, Classification). Бенчмарк не заменяет проверку на ваших данных, но отсеивает заведомо слабые варианты.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Эмбеддинги нейросети нужны вам, если вы строите базу знаний для чат-бота или хотите автоматически группировать свои публикации по темам. Возьмите sbert_large_nlu_ru и загрузите туда тексты своих статей: модель покажет, какие материалы семантически дублируют друг друга и где есть пробелы в темах.

Маркетологам. Семантический поиск по отзывам клиентов, кластеризация обращений в поддержку, автоматическое обнаружение дубликатов в каталоге: всё это работает на эмбеддингах. Русскоязычные модели от Sber и DeepPavlov бесплатны и работают локально, без отправки данных клиентов на сторонние серверы.

Разработчикам и предпринимателям в РФ. Все перечисленные русскоязычные модели доступны на Hugging Face, скачиваются без ограничений и работают локально. Лицензии MIT и Apache-2.0 позволяют коммерческое использование. Облачные API зарубежных провайдеров (OpenAI, Cohere) могут быть недоступны из-за ограничений по региону оплаты, поэтому локальный запуск через sentence-transformers остаётся самым надёжным вариантом.

Выбор эмбеддинг-модели сводится к трём решениям: язык данных определяет семейство, размерность определяет баланс между качеством и ресурсами, а финальное слово остаётся за тестом на ваших реальных текстах. Начните с компактной rubert-base-cased-sentence, прогоните 50 пар «запрос и документ», посмотрите на разделение косинусных оценок между релевантными и нерелевантными парами, и через полтора часа у вас будет обоснованный ответ, а не гадание по рейтингам.