Fine tuning нейросети за вечер: дообучаем модель в Colab бесплатно методом LoRA

Открытый корпус SupraLabs reasoning-corpus на платформе Hugging Face собрал миллионы примеров рассуждений от разных моделей. Туториал, опубликованный на странице датасета, описывает полный пайплайн: от потоковой загрузки и фильтрации данных до дообучения модели SmolLM2-135M-Instruct и экспорта результата. Ниже разобран каждый шаг так, чтобы его мог повторить автор Дзена или маркетолог без опыта в машинном обучении.

Что понадобится?

• Google-аккаунт и доступ к Google Colab (бесплатный тариф с GPU T4 подойдёт)
• Hugging Face аккаунт (бесплатный, нужен для загрузки датасета и модели)
• Базовое владение Python на уровне «скопировать код в ячейку и нажать Run»
• Время: от 1,5 до 3 часов, основная часть уйдёт на само дообучение
• Библиотеки (устанавливаются одной командой в Colab): datasets, transformers, trl, peft, accelerate, bitsandbytes, matplotlib, pandas

Пошаговая инструкция

1. Создайте блокнот в Colab и подключите GPU

Откройте Colab, выберите «Среда выполнения» и «Сменить тип среды выполнения», укажите GPU (T4). Затем установите все нужные библиотеки одной ячейкой:

import subprocess, sys

def pip_install(pkgs):
    subprocess.check_call([sys.executable, "-m", "pip", "install", "-q", *pkgs])

subprocess.call([sys.executable, "-m", "pip", "uninstall", "-y", "-q", "torchao"])

pip_install([
    "datasets>=3.0.0",
    "transformers>=4.46.0",
    "trl>=0.12.0",
    "peft>=0.13.0",
    "accelerate>=1.0.0",
    "bitsandbytes",
    "matplotlib",
    "pandas",
])

Пакет torchao удаляется намеренно: он конфликтует с остальными зависимостями в окружении Colab.

2. Загрузите данные потоком, не скачивая весь корпус

Датасет SupraLabs весит много, но потоковый режим (streaming) позволяет взять только нужную выборку:

from datasets import load_dataset, Dataset
import itertools

DATASET_ID = "SupraLabs/reasoning-corpus-4K-5M-v1"
SAMPLE_SIZE = 8_000

stream = load_dataset(DATASET_ID, split="train", streaming=True)
stream = stream.shuffle(seed=42, buffer_size=30_000)
rows = list(itertools.islice(stream, SAMPLE_SIZE))
ds = Dataset.from_list(rows)

На выходе вы получите 8 000 строк с полями: repo_id (источник), tok_len (длина в токенах (минимальных единицах текста, которые «видит» модель)), user (запрос), thought_trace (цепочка рассуждений), assistant (финальный ответ).

3. Проанализируйте выборку

Прежде чем обучать, стоит понять, что внутри. Код из туториала строит четыре графика: распределение длин, топ источников, соотношение рассуждений к ответу и их связь с длиной. Дополнительно эвристика размечает задачи по типам: код, математика, медицина, вопросы с выбором, общие.

df = ds.to_pandas()
df["think_chars"] = df["thought_trace"].str.len()
df["answer_chars"] = df["assistant"].str.len()
df["reason_ratio"] = df["think_chars"] / (df["think_chars"] + df["answer_chars"] + 1)

Этот шаг покажет, сбалансирована ли выборка. Если 80% записей окажутся про код, а вам нужна логика на русском, дальше вы сможете отфильтровать лишнее.

4. Отфильтруйте некачественные примеры

Четыре фильтра убирают записи, которые навредят при дообучении:

• По длине: от 200 до 3 000 токенов (слишком короткие не содержат рассуждений, слишком длинные не влезут в память GPU)
• По содержанию: убираются пустые или почти пустые рассуждения и ответы
• По повторам: если одна строка в цепочке рассуждений повторяется более чем в 30% случаев, это «зацикленная» модель, такие примеры вредны
• По соотношению: сохраняются записи, где рассуждение занимает от 15% до 97% текста

ds_f = ds.filter(filter_length)
ds_f = ds_f.filter(filter_degenerate)
ds_f = ds_f.filter(filter_repetition)
ds_f = ds_f.filter(filter_reason_ratio)

После фильтрации из 8 000 записей останется меньшая, но чистая выборка.

5. Преобразуйте данные в чат-формат с тегами рассуждений

Модель должна научиться выделять «мышление» от финального ответа. Для этого каждый пример оборачивается в чат-формат с тегами <think>:

• Роль system: короткая инструкция «рассуждай перед ответом»
• Роль user: запрос из датасета
• Роль assistant: блок <think>цепочка рассуждений</think> плюс финальный ответ

6. Запустите дообучение через LoRA

LoRA (Low-Rank Adaptation) позволяет обновлять лишь малую часть параметров модели, что критически снижает требования к памяти. В туториале дообучается SmolLM2-135M-Instruct, модель со 135 миллионами параметров, которая помещается в бесплатный GPU Colab.

Обучение запускается через SFTTrainer из библиотеки TRL. Процесс занимает от 30 минут до часа на T4.

7. Проверьте модель и экспортируйте результат

После обучения модель генерирует ответ на тестовый промпт (текстовую инструкцию для нейросети). Результат можно сохранить в формат Parquet для дальнейшего использования или выгрузить на Hugging Face Hub.

Кому это пригодится и что делать прямо сейчас?

Авторам Дзена. Дообученная модель умеет генерировать пошаговые объяснения. Это полезно для рубрик «разбор», «как работает», «почему так»: модель даёт скелет рассуждения, который вы редактируете и превращаете в публикацию.

Маркетологам. Fine tuning нейросети под вашу нишу означает, что вы можете натренировать компактную модель отвечать в логике вашего продукта: объяснять выгоды, разбирать возражения, сравнивать тарифы, и всё это без оплаты API крупных моделей.

Предпринимателям из РФ и СНГ. Google Colab работает из России. Hugging Face доступен. Всё, что описано, можно запустить без VPN и без оплаты. Из российских аналогов для дообучения существуют YandexGPT (с ограниченным fine-tuning через Yandex Cloud) и GigaChat (Сбер), но открытых моделей с таким уровнем доступа к процессу обучения они пока не дают.

Дообучение перестало быть привилегией команд с бюджетом на серверы. Один блокнот в Colab, открытый датасет и 135 миллионов параметров, и у вас модель, которая объясняет своё решение шаг за шагом. Начните с чистки данных, результат будет ровно таким, какими были примеры для обучения.