Обработка данных нейросети: как собрать чистый датасет из 15 трлн токенов веба

Ниже разберём, как на практике отфильтровать веб-контент, убрать дубликаты и подготовить корпус текстов для дообучения (fine-tuning, обучение модели на ваших примерах под узкую задачу), взяв за основу открытый датасет FineWeb и реальный код на Python.

FineWeb от HuggingFace содержит 15 триллионов токенов (токен, минимальная единица текста для модели, примерно три четверти слова) веб-текстов на английском. Корпус уже прошёл фильтрацию, но его пайплайн (цепочка обработки) полностью открыт. Это значит, что каждый шаг можно воспроизвести на своих данных, в том числе русскоязычных. Именно это мы и сделаем: возьмём код из практического руководства MarkTechPost и разберём, что каждый фильтр ловит и почему он нужен при обработке данных для нейросети.

Что понадобится

• Python 3.9+ и менеджер пакетов pip
• Библиотеки: datasets (стриминг данных с HuggingFace), datasketch (поиск дубликатов), tiktoken (токенизатор GPT-2), pandas, matplotlib
• Доступ в интернет для стриминга датасета (скачивать весь корпус не нужно)
• Примерно 30 минут на прохождение всех шагов
• Базовое знание Python на уровне «могу запустить скрипт в Jupyter-ноутбуке»

Пошаговая инструкция

1. Установите зависимости и настройте окружение

Одной командой ставим всё необходимое:

import subprocess, sys
def pip(*pkgs):
    subprocess.run([sys.executable, "-m", "pip", "install", "-q", *pkgs], check=True)
pip("datasets>=2.19", "datasketch", "tiktoken", "pandas", "matplotlib", "tqdm")

Скрипт также фиксирует случайное зерно (random.seed(0)), чтобы результаты воспроизводились от запуска к запуску.

2. Загрузите выборку через стриминг, без скачивания всего корпуса

FineWeb весит несколько терабайт, но библиотека datasets умеет стримить данные порциями. Берём 3 000 документов из среза sample-10BT:

from datasets import load_dataset

stream = load_dataset(
    "HuggingFaceFW/fineweb",
    name="sample-10BT",
    split="train",
    streaming=True,
)

docs = []
for i, doc in enumerate(stream):
    docs.append(doc)
    if i + 1 >= 3000:
        break

На выходе получаем таблицу с полями: url, language, language_score, token_count и сам text.

3. Примените фильтры качества текста

Здесь начинается обработка данных для нейросети. Пайплайн FineWeb использует три уровня фильтрации. Разберём каждый.

Фильтр Gopher проверяет базовую статистику текста:

• Длина документа: от 50 до 100 000 слов
• Средняя длина слова: от 3 до 10 символов (отсеивает строки из кодов и однобуквенный мусор)
• Доля символов «#» и «...» не выше 10% от числа слов
• Минимум 2 стоп-слова (the, be, to, of, and, that, have, with) в тексте

Фильтр C4 ловит шаблонный контент:

• Блокирует тексты с «lorem ipsum» и «javascript is disabled»
• Отсеивает страницы с избытком фигурных скобок (признак сырого JSON или кода)

Пользовательский фильтр FineWeb борется с дублями внутри документа:

• Если больше 30% строк повторяются, документ отбраковывается
• Если больше 67% строк короче 30 символов (при 5+ строках), текст считается «списочным» и тоже уходит

results = []
for d in docs:
    t = d["text"]
    g_ok, g_r = gopher_quality(t)
    c_ok, c_r = c4_quality(t)
    f_ok, f_r = fineweb_custom(t)
    reason = "kept" if (g_ok and c_ok and f_ok) else (
        g_r if not g_ok else c_r if not c_ok else f_r)
    results.append(reason)

Поскольку FineWeb уже прошёл очистку, большинство документов проходят фильтры. Но на сырых данных русскоязычного интернета эти правила отсеивают от 30% до 70% страниц.

4. Найдите и удалите почти-дубликаты через MinHash

Два текста могут отличаться парой слов, но по сути быть копией. MinHash LSH (Locality Sensitive Hashing, метод быстрого приблизительного сравнения текстов) решает эту задачу без попарного сравнения всех документов:

from datasketch import MinHash, MinHashLSH

lsh = MinHashLSH(threshold=0.7, num_perm=128)
for idx, d in enumerate(docs):
    m = MinHash(num_perm=128)
    for s in shingles(d["text"]):
        m.update(s.encode("utf8"))
    lsh.insert(str(idx), m)

Порог 0.7 по коэффициенту Жаккара означает: если 70% «шинглов» (пятисловных фрагментов) совпадают, документы считаются дубликатами. На выборке из предочищенного FineWeb дубликатов почти нет, но на сырых парсингах Рунета этот шаг обычно убирает ещё 5% до 15% текстов.

5. Проверьте токенизацию

Финальный шаг: убедитесь, что подсчёт токенов в датасете совпадает с реальной токенизацией. Библиотека tiktoken с токенизатором GPT-2 позволяет это проверить за секунды на всей выборке.

Что делать с этим прямо сейчас?

Автору Дзена. Если вы собираете корпус своих статей для дообучения, прогоните их через фильтр дублированных строк. Часто в длинных подборках и FAQ одни и те же формулировки повторяются десятками раз, и модель выучит именно их.

Маркетологу. Перед заказом дообучения у подрядчика спросите, какие фильтры качества применяются к данным. Если ответ «никакие», это красный флаг: мусор на входе гарантирует галлюцинации (когда ИИ уверенно выдумывает то, чего не было) на выходе.

Предпринимателю в РФ. Код из руководства работает с открытыми библиотеками и не требует зарубежных API. Датасет FineWeb стримится через HuggingFace без VPN. Для русскоязычных корпусов можно использовать аналогичный подход, адаптировав стоп-слова и пороги длины.

Фильтрация и дедупликация занимают несколько часов работы, но экономят недели переобучения и тысячи рублей на GPU. Начните с малого: прогоните свой контент через три фильтра из этого руководства, посмотрите, сколько процентов текстов не пройдёт проверку, и вы поймёте реальное качество своих данных лучше любого бенчмарка.

По материалам MarkTechPost