Как обучить свою нейросеть с нуля: 164 млн параметров на текстах Warhammer 40K

---

Владимир, автор статьи на Хабре, в 2025 году опубликовал первую часть цикла по созданию GPT-подобной языковой модели с нуля на PyTorch, обучив её на текстах вселенной Warhammer 40K вместо того, чтобы читать 56 романов и 24 повести цикла «Ересь Хоруса».

Статья Владимира на Хабре открывает серию из пяти частей. Автор прямо говорит: цель не создать «убийцу ChatGPT», а разобраться, как устроены decoder-only модели (модели, которые генерируют текст, предсказывая каждое следующее слово) изнутри, написав всё самому на PyTorch. Фоном служит популярная тема: как обучить свою нейросеть на узком, нестандартном корпусе текстов, а не на «всём интернете».

Что вошло в первую часть?

• Сбор сырых данных. Владимир собрал тексты по вселенной Warhammer 40K из разных источников. LLM (большая языковая модель, программа, которая учится предсказывать следующее слово в тексте) требует огромных объёмов текста: по закону масштабирования Шиншиллы (Chinchilla scaling law, эмпирическое правило, определяющее соотношение данных и размера модели) ориентир составляет примерно 20 токенов (токен, это минимальный кусочек текста, с которым работает модель: слово, часть слова или символ) на один параметр модели.
• Экстракторы текста. Автор написал отдельные скрипты для извлечения текста из PDF (через библиотеку fitz), FB2 (через lxml с поддержкой кодировки Windows-1251) и EPUB (через ebooklib и BeautifulSoup). Все три экстрактора объединены в единый пайплайн (конвейер обработки), который определяет формат файла по расширению и вызывает нужный экстрактор.
• Формат хранения. Все тексты приведены к формату JSON для удобства дальнейшей обработки.
• Токенизация. Первый этап подготовки данных перед обучением: разбиение текста на токены. Автор использовал метод BPE (Byte Pair Encoding, алгоритм, который сначала разбивает текст посимвольно, а потом постепенно склеивает самые частые пары символов в один токен).

Что получилось в итоге?

Владимир описывает результат честно. Модель вышла размером около 164 млн параметров. Датасет (обучающие данные) составил всего 72 млн токенов и 2,5 тыс. пар «вопрос-ответ» для этапа SFT (дообучение, supervised fine-tuning, когда модель учат отвечать на конкретные вопросы).

Текст модель генерирует, иногда даже связный. Instruct-версия (вариант, обученный отвечать на вопросы) иногда даёт правильные ответы. Но, по словам автора, «это не модель, которая живёт в мире Империума и Варпа». Законы масштабирования не обманешь: для полноценного справочника по вселенной 72 млн токенов и 164 млн параметров слишком мало.

Код обучения, базовая модель и instruct-версия выложены в открытый доступ (ссылки в оригинальной статье).

Какие части цикла ещё запланированы?

Автор анонсировал пять частей. Первая, про подготовку и токенизацию данных, уже опубликована. Далее по плану:

1. Трансформер (архитектура модели).
2. Сборка и обучение LLM.
3. SFT-этап (дообучение на парах «вопрос-ответ»).
4. Интеграция с Hugging Face (платформа для публикации и использования моделей).

Содержание, по словам автора, может меняться и дополняться.

Как попробовать самому?

1. Прочитайте первую статью на Хабре и скачайте код из репозитория автора (ссылки даны в оригинале).
2. Подготовьте свои тексты в любом формате: PDF, FB2 или EPUB. Экстракторы Владимира работают с кириллицей, включая кодировку Windows-1251, что критично для русскоязычного контента.
3. Запустите пайплайн токенизации по инструкции из статьи, на выходе получите JSON-файлы, готовые для обучения модели.
4. Дождитесь следующих частей цикла или используйте готовую базовую модель автора для экспериментов.

Сравнение с тем, что доступно в России

Для тех, кому нужен не учебный проект, а рабочий инструмент для ответов на вопросы по своим текстам прямо сейчас, в России доступны YandexGPT и GigaChat. Оба умеют работать с загруженными документами и отвечать на вопросы по ним без необходимости обучать модель с нуля.

Но задача Владимира принципиально другая: не использовать готовый инструмент, а понять, как он устроен внутри, и собрать свой. Для авторов, маркетологов и разработчиков, которые хотят разобраться в архитектуре LLM на практике, а не в теории, его цикл статей закрывает именно эту потребность, причём на русском языке и с кириллическими данными.

Что это даёт вам, по ролям?

Автору Дзена и копирайтеру. Если вы когда-нибудь задавались вопросом, как работает нейросеть, которой вы диктуете текст, этот цикл покажет механику изнутри. Практический бонус: понимание токенизации помогает писать промпты (промпт, запрос к нейросети) точнее, потому что вы будете знать, как модель «видит» ваш текст.

Маркетологу. Цикл демонстрирует реальную стоимость обучения нишевой модели: даже на 72 млн токенов результат не дотягивает до справочника. Это отрезвляет, когда клиент просит «обучить ИИ на наших документах за неделю».

Предпринимателю и разработчику в РФ. Код написан на PyTorch, работает с кириллицей, экстракторы поддерживают Windows-1251. Для команд, которые хотят попробовать обучить свою нейросеть на внутренних документах, это готовый стартовый набор, экономящий недели на адаптацию англоязычных туториалов.

Частые вопросы

Нужен ли мощный компьютер, чтобы повторить проект?

Автор не указал конкретные требования к железу в первой части цикла. Модель на 164 млн параметров относительно небольшая по меркам индустрии. Подробности об обучении и необходимых ресурсах, вероятно, появятся в третьей части, посвящённой сборке и обучению.

Можно ли взять этот код и обучить модель на своих текстах, а не на Warhammer?

Да. Экстракторы Владимира работают с PDF, FB2 и EPUB, поддерживают кириллицу. Если у вас есть корпус текстов в этих форматах, вы можете подставить свои данные вместо текстов Warhammer 40K. Но результат автора показывает: для качественных ответов 72 млн токенов недостаточно, так что объём данных имеет значение.

Чем этот проект отличается от дообучения готовой модели, например YandexGPT?

Дообучение (fine-tuning) берёт уже обученную модель и адаптирует её под ваши задачи. Владимир пишет модель с нуля: от токенизатора до архитектуры трансформера. Это учебный проект для понимания механики, а не кратчайший путь к рабочему продукту. Если нужен результат прямо сейчас, дообучение готовой модели быстрее и дешевле.