Непрограммист собрал датасет на 100 тысяч запросов для эмбеддингов: весь код написала DeepSeek

Цикл посвящён эмбеддингам. Эмбеддинг, это набор чисел, которым модель описывает смысл фразы, как координаты точки на карте смыслов. Изотропными эмбеддинги называют, когда такие точки равномерно разбросаны по всем направлениям карты, а не сбиты в узкий пучок. В третьей части автор до самой изотропности ещё не доходит: он готовит данные для контрастного обучения (contrastive). Так называют обучение, при котором модели показывают похожие и непохожие фразы и учат ставить первые рядом, а вторые подальше.

Чем этот набор данных отличается от обычного?

Автор взял готовый русский датасет deepvk/ru-HNP. Его главная особенность, трудные отрицательные примеры (hard negatives): фразы, почти дословно совпадающие с исходной, но с другим смыслом. По карточке датасета, его сгенерировали с помощью ChatGPT.

• Структура. На каждый запрос приходится одна исходная фраза, 5 перефразировок с тем же смыслом и 5 трудных отрицательных примеров.
• Пример из набора. Исходная фраза: «С 1952 года после окончания Куйбышевского индустриального института им. В. В. Куйбышева работал в системе атомной промышленности СССР». Ловушка: «До 1952 года перед окончанием… он не работал в системе атомной промышленности СССР».
• Какие бывают ловушки. Отрицания, сдвиги во времени («до» вместо «после»), замена глагола на противоположный.
• Объём. 100 тысяч запросов, то есть 500 тысяч перефразировок и 500 тысяч ловушек.
• Части набора. Учебная часть (train) содержит 100 000 запросов, проверочная (validation) 590, тестовая (test) 2 000.

Автор объясняет выбор так: набор даёт готовую разметку, и ничего не нужно придумывать самостоятельно.

Модель каждый раз видит новые сочетания, а файлы не раздуваются

Автор не стал заранее раскладывать все варианты по отдельным строкам. Из 5 перефразировок и 5 ловушек получается 25 возможных троек «фраза, перефразировка, ловушка». Если брать одну перефразировку и две ловушки, на каждый запрос выходит 50 наборов, а при полной раскладке это 5 миллионов строк вместо 2,5 миллиона.

Вместо этого в файле хранятся полные списки, а на каждой эпохе (полном проходе модели по учебным данным) скрипт случайно выбирает одну перефразировку из пяти и две ловушки из пяти. По словам автора, так модель видит разные комбинации и не переобучается, то есть не запоминает конкретные пары вместо смысла.

Данные лежат в формате jsonl, где каждая строка файла хранит одну запись. Учебный файл весит 250,6 МБ. Скрипт загружает датасет с HuggingFace (крупнейшей площадки с открытыми моделями и наборами данных), отбрасывает пустые записи и сохраняет три файла со служебной статистикой.

Как попробовать?

1. Найдите на HuggingFace датасет deepvk/ru-HNP и прочитайте его карточку.
2. Установите Python и библиотеку datasets, затем запустите скрипт scripts/2.4_prepare_hnp.py из статьи автора.
3. Сверьте результат: по ожидаемому выводу учебная часть сохраняется за 4 секунды, в файл попадают 99 999 записей из 100 000, проверочная часть весит 1,5 МБ, тестовая 5,1 МБ.
4. Если код непонятен, попросите нейросеть объяснить его построчно. Автор поступил так же: код писала DeepSeek, а он проверял и правил.

Есть ли российская альтернатива для тех, кто не пишет код?

Готового аналога этого датасета источник не называет. Принцип «исходная фраза, перефразировки и ловушки» можно повторить вручную. Из доступных в РФ инструментов для этого подойдут YandexGPT и GigaChat: попросите их переписать ваш абзац пятью способами и составить пять похожих фраз с противоположным смыслом.

Кому и чем это полезно сегодня?

Автору Дзена. Ловушки из датасета наглядно показывают, как одно слово переворачивает смысл. Проверяйте свои тексты, сгенерированные ИИ, на отрицания и сдвиги дат: нейросеть может перепутать «до» и «после».

Маркетологу. Хороший эмбеддинг лежит в основе поиска похожих текстов, рекомендаций и группировки отзывов. На эмбеддингах строится и кластеризация, то есть раскладка сотен отзывов по темам без ручной сортировки.

Предпринимателю из РФ и СНГ. Датасет русскоязычный и лежит на HuggingFace. Кейс автора показывает другое: связка «человек ставит задачу, нейросеть пишет код» позволяет начать проект без штатного программиста.

Частые вопросы

Нужно ли уметь программировать, чтобы повторить этот проект?

Автор пишет, что сам не программист. Код написала DeepSeek, а он занимался отладкой и исправлением неточностей. Базовое умение запускать скрипты всё же понадобится.

Почему датасет русский, если его делал ChatGPT?

По карточке deepvk/ru-HNP, примеры сгенерировали с помощью ChatGPT, но все фразы в наборе на русском языке. Пример с Куйбышевским институтом это хорошо показывает.

Зачем модели «фразы-ловушки»?

Без них модель учится только сближать похожее и легко путает фразы, где различие сводится к одному «не». Ловушки заставляют её различать смысл, а не совпадение слов.

Если вы пишете с помощью ИИ, проверьте сегодня свои тексты на перевёрнутые «до» и «после»: ошибки в датах и отрицаниях читатель замечает первыми.