Обучение Gemma 3 математике на одном GPU: туториал Google работает в бесплатном Colab

Gemma 3, открытая модель (open-source) от Google, уже умеет генерировать текст и отвечать на вопросы. Но математическое рассуждение, когда модель должна не угадать ответ, а пройти цепочку шагов и выдать точное число, требует отдельной тренировки. Туториал собирает весь процесс Gemma 3 обучения от установки библиотек до проверки результата в одном ноутбуке, опираясь на библиотеку Tunix и фреймворк JAX.

Что понадобится?

• Google Colab с доступом к TPU или GPU (подойдёт бесплатный уровень)
• Hugging Face-аккаунт с принятой лицензией на Gemma 3 и токеном доступа
• Библиотеки: Tunix, JAX, Flax, Qwix, TensorFlow (ставятся автоматически из ноутбука)
• Датасет GSM8K (набор школьных математических задач от OpenAI, загружается одной строкой)
• Время: установка зависимостей занимает 5-8 минут, само обучение на 100 шагов укладывается в один сеанс Colab

Пошаговая инструкция

1. Установите зависимости и перезапустите среду.

Первый запуск ячейки ставит Tunix, JAX, Flax, Qwix, TensorFlow, библиотеку datasets и вспомогательные пакеты. После установки ядро Colab автоматически перезапускается. Затем нужно запустить ячейку повторно, и она уже пропустит установку и перейдёт к импорту.

# Ячейка сама проверяет, установлен ли Tunix.
# Если нет — ставит всё и перезапускает ядро.
# После рестарта запустите её снова.

2. Авторизуйтесь в Hugging Face.

Код ищет токен в переменных среды Colab. Если не находит, запрашивает вручную. Токен нужен, чтобы скачать веса Gemma 3: модель открытая, но Google требует принять лицензию на странице модели.

3. Задайте гиперпараметры обучения.

Ключевые значения, которые использует туториал:

• Модель: google/gemma-3-1b-it (версия на 1 миллиард параметров, instruction-tuned)
• LoRA: ранг 32, альфа 32.0. LoRA (Low-Rank Adaptation) позволяет обучать не все веса модели, а только маленький адаптер, что экономит память
• GRPO: beta 0.08, epsilon 0.2, 2 генерации на каждый промпт (промпт, входная инструкция для модели), 100 шагов обучения
• Генерация: температура 0.9, top-k 50, до 512 токенов (токен, минимальная единица текста для модели, примерно три четверти слова)
• Оптимизатор: learning rate 3e-6, weight decay 0.1, разогрев 10 шагов

MODEL_ID = "google/gemma-3-1b-it"
RANK, ALPHA = 32, 32.0
MAX_STEPS = 100
LEARNING_RATE = 3e-6
TEMPERATURE = 0.9

4. Подготовьте данные GSM8K.

GSM8K, это набор из нескольких тысяч школьных задач на арифметику и логику. Каждая задача содержит условие и ответ после разделителя ####. Код оборачивает условие в промпт со специальным системным промптом (system prompt, инструкция, которая задаёт модели формат ответа).

Формат требует от модели двух блоков: рассуждение внутри тегов <reasoning>...</reasoning> и финальный ответ числом внутри <answer>...</answer>.

SYSTEM_PROMPT = (
    "You are given a problem. First, think about the problem "
    "and provide your reasoning between <reasoning> and </reasoning>. "
    "Then give the final answer (just one number) "
    "between <answer> and </answer>."
)

5. Напишите функции вознаграждения.

GRPO (Group Relative Policy Optimization, метод обучения с подкреплением, при котором модель сама генерирует варианты ответа и получает награду за лучшие) нуждается в функциях, которые оценивают каждый сгенерированный ответ. Туториал задаёт две:

• Формат: ответ получает 3.0 балла, если содержит оба блока тегов в правильном порядке, и 0.0 без них
• Правильность: из блока <answer> извлекается число и сравнивается с эталоном из GSM8K

Так модель учится одновременно рассуждать в нужном формате и давать верный результат.

6. Подключите адаптеры LoRA и запустите обучение.

LoRA-адаптеры прикрепляются к загруженной модели Gemma 3. Обучаются только веса адаптеров, основные параметры модели заморожены. Это и позволяет уместить Gemma 3 обучение на одном ускорителе.

Обучение идёт через GRPOLearner из библиотеки Tunix: на каждом шаге модель генерирует два варианта ответа на задачу, функции вознаграждения оценивают каждый, а оптимизатор обновляет веса адаптера в сторону более результативных генераций.

7. Оцените результат на тестовых примерах.

После обучения туториал прогоняет 16 задач из тестовой выборки GSM8K, сравнивая ответы модели с эталоном. Это позволяет увидеть, научилась ли модель выдавать правильные числа в нужном формате.

Что делать с этим прямо сейчас, по ролям

Автору на Дзене. Если вы пишете про образование, математику или нейросети, пройдите этот туториал руками. Статья «Как я научил нейросеть решать школьные задачи за час в Colab» с реальными скриншотами соберёт хорошие дочитывания. Готовый ноутбук становится инфоповодом.

Маркетологу. GRPO с LoRA показывает, что дообучение открытых моделей под узкую задачу больше не требует бюджета на облако. Если вы задумывались о кастомной модели для классификации заявок или анализа отзывов, порог входа заметно снизился.

Предпринимателю в РФ и СНГ. Gemma 3, открытая модель, веса скачиваются свободно. Инференс (инференс, запуск модели для получения ответа) можно развернуть локально. Из доступных в РФ аналогов для сравнения подхода есть YandexGPT и GigaChat, но они закрытые и не поддерживают пользовательское дообучение. Gemma 3 обучение через LoRA даёт контроль, который закрытые API не предоставляют.

Метод GRPO с LoRA превращает дообучение из задачи для ML-команды в упражнение на один вечер в Colab. Кто освоит эту механику сейчас, получит навык, который пригодится далеко за пределами школьной математики.