Грокинг на практике: как маленькие модели объясняют сбои больших языковых моделей

Вы хотите понять, как результаты экспериментов с маленькими «игрушечными» нейросетями помогают разобраться в поведении больших языковых моделей (LLM, нейросети, которые генерируют текст), и применить это при отладке собственных ИИ-проектов.

Зачем вообще смотреть на маленькие модели?

Когда исследователи обучают крошечную нейросеть на простой арифметике, они наблюдают эффект под названием grokking (грокинг). Модель сначала просто заучивает примеры наизусть, а потом, после большого количества дополнительных шагов обучения, вдруг «осознаёт» закономерность и начинает правильно отвечать на незнакомые примеры.

Этот же механизм работает и в больших языковых моделях, но там его почти невозможно отследить напрямую: слишком много параметров, данных и вычислений. Трансфер алгоритмов означает, что паттерны, найденные в игрушечной модели, переносятся как диагностический инструмент на большую. Вы не копируете веса, вы копируете понимание того, что происходит внутри.

Что понадобится?

• Среда для экспериментов: Google Colab (бесплатный тариф подойдёт) или локальный Python с PyTorch.
• Маленькая модель для наблюдения: одно- или двухслойный трансформер. Код для обучения модульной арифметике занимает менее 100 строк.
• Библиотека интерпретируемости: TransformerLens (опенсорс-инструмент для разбора внутренних представлений нейросетей).
• Большая языковая модель для проверки гипотез: любая открытая модель с доступными весами, например семейство Llama или Mistral.
• Время: на воспроизведение грокинга на маленькой модели уйдёт от 30 минут до 2 часов, на анализ активаций большой модели ещё столько же.

Пошаговая инструкция

1. Обучите игрушечную модель на модульной арифметике. Задача: научить однослойный трансформер складывать числа по модулю (например, (a + b) mod 113). Модель сначала запомнит обучающую выборку, а затем, при продолжении обучения, произойдёт грокинг.

# Пример: генерация датасета для модульной арифметики
import torch
p = 113
data = [(a, b, (a + b) % p) for a in range(p) for b in range(p)]

1. Зафиксируйте момент грокинга. Отслеживайте точность на тестовой выборке по эпохам. Когда она резко подскочит с уровня случайного угадывания до высокого, это и есть грокинг. Запишите номер эпохи.

2. Извлеките внутренние представления до и после грокинга. С помощью TransformerLens посмотрите, как меняются активации нейронов. До грокинга модель хранит «таблицу ответов». После она формирует периодические паттерны, похожие на синусоиды, это и есть алгоритм, который модель «нашла».

# Получение активаций через TransformerLens
from transformer_lens import HookedTransformer
model = HookedTransformer.from_pretrained("my_small_model")
logits, cache = model.run_with_cache(input_tokens)

1. Сформулируйте гипотезу для большой модели. Например: если маленькая модель переходит от запоминания к обобщению через формирование периодических структур, то в большой языковой модели аналогичные структуры могут появляться в определённых слоях при решении задач, требующих логики.

2. Проверьте гипотезу на открытой LLM. Загрузите модель с открытыми весами, подайте на вход задачи, в которых модель ошибается (галлюцинирует), и сравните активации с теми случаями, где ответ верный. Ищите те же паттерны: хаотичные активации при ошибке и структурированные при верном ответе.

3. Используйте результат для отладки. Если вы дообучаете (fine-tuning) модель под свою задачу и видите, что после определённого числа шагов качество на тестовой выборке не растёт, не останавливайте обучение сразу. Грокинг подсказывает, что скачок может случиться позже. Но верно и обратное: если потери на обучающей выборке давно на нуле, а тестовая точность не двигается, модель, возможно, просто зазубрила данные.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Если вы используете большие языковые модели для генерации текстов и замечаете, что после дообучения качество «плавает», не спешите всё переделывать. Проверьте, не находится ли модель в фазе до грокинга, возможно, ей нужно больше шагов обучения, а не больше данных.

Маркетологам. Понимание грокинга помогает трезво оценивать обещания подрядчиков, которые дообучают модели. Фраза «модель не учится» может означать, что обучение просто не дошло до скачка, а может означать, что данных мало или они грязные. Теперь вы знаете, какой вопрос задать.

Предпринимателям в РФ и СНГ. Все описанные инструменты бесплатны и работают без VPN: Google Colab, PyTorch, TransformerLens, открытые модели. Из российских аналогов для генерации текста доступны YandexGPT и GigaChat, но для задач интерпретируемости нужны модели с открытыми весами, здесь подойдут Llama и Mistral, скачиваемые через HuggingFace.

Знание о грокинге не сделает вас исследователем нейросетей за вечер, но даст конкретный вопрос, который стоит задать, когда ваша модель «не учится»: она действительно не может, или просто ещё не дошла до скачка?