Интерпретируемость нейросетей проще, чем казалось: гипотеза Goodfire и как проверить её самому

Исследователь Ник Каммарата опубликовал эссе на сайте goodfire.com, где утверждает: полисемантичность нейронов (когда один нейрон якобы отвечает за несколько несвязанных понятий) вызвана не фундаментальной суперпозицией, а устранимыми причинами. Эссе вызвало волну пересказов, в которых рабочая гипотеза зачастую подавалась как доказанный факт. Сам автор называет текст именно гипотезой: полная техническая статья с описанием экспериментов пока не вышла.

Зачем автору Дзена разбираться в интерпретируемости нейросетей?

Интерпретируемость нейросетей напрямую влияет на то, можно ли доверять ответу модели. Если вы используете нейросеть для генерации текстов, картинок или аналитики, понимание того, как модель приходит к результату, помогает отличить надёжный вывод от галлюцинации (когда ИИ уверенно выдумывает то, чего не было).

Гипотеза Каммараты звучит обнадёживающе: раз нейроны «чистые», значит модель можно проверить и починить. Но независимая проверка показала серьёзную оговорку, о ней ниже.

Что понадобится

• Текст эссе Каммараты на сайте goodfire.com (читается с автопереводом Google Translate)
• Любая среда для запуска Python-кода: Google Colab (бесплатно), Jupyter Notebook или локальный Python 3.10+
• Библиотеки PyTorch и NumPy (устанавливаются одной командой)
• Около 2 часов на чтение эссе и повторение эксперимента на микросети

Пошаговая инструкция

1. Прочитайте оригинальное эссе целиком. Не пересказы, а именно первоисточник на goodfire.com. С автопереводом Google текст читается без затруднений. Обратите внимание: Goodfire продаёт верификацию больших языковых моделей как услугу (инструмент Silico), поэтому у компании есть коммерческий интерес в том, чтобы интерпретируемость выглядела достижимой.

2. Зафиксируйте ключевой тезис. Каммарата утверждает: если отключить 75% самых слабых активаций нейрона (протокол, который он называет weak75), средняя точность модели почти не падает (в его эксперименте на модели Qwen с 72% до 71%). Значит, слабые активации якобы несущественны, а нейрон делает одну конкретную работу.

3. Обратите внимание на методологию. Эксперимент с аудитом нейронов поставлен на модели Qwen, причём гипотезы ставили и проверяли ИИ-агенты (программы, которые действуют самостоятельно). Иными словами, одна большая языковая модель доказывала, что другая большая языковая модель интерпретируема. Это не делает результат ложным, но требует независимой перепроверки.

4. Воспроизведите абляцию на микросети. Создайте простую MLP-модель (многослойный перцептрон, базовая нейросеть из нескольких слоёв) на задаче классификации или сортировки. Обучите её, затем примените протокол weak75: обнулите 75% самых слабых активаций каждого нейрона.

# Пример обнуления слабых активаций (weak75)
import torch

def ablate_weak75(activations):
    threshold = torch.quantile(activations.abs(), 0.75)
    mask = activations.abs() >= threshold
    return activations * mask

1. Замерьте точность на стандартном тесте и на пограничных примерах. Это принципиальный шаг. На стандартном тесте точность может даже вырасти (как в независимом эксперименте, описанном ниже). Но на пограничных примерах, где классы почти неразличимы, картина меняется радикально.

2. Сравните результаты и сделайте собственный вывод. Именно проверка на границах классов покажет, действительно ли слабые активации «мусорные» или они хранят критически важную информацию.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы пишете про ИИ, не пересказывайте гипотезу Каммараты как факт. Укажите, что это рабочая гипотеза без полного отчёта, и дайте ссылку на первоисточник. Ваши читатели оценят честность больше, чем громкий заголовок.

Маркетологу. Когда вендор обещает «полностью объяснимый ИИ» или «прозрачную нейросеть», спрашивайте: на каких примерах проверяли, на типичных или на пограничных? Разница в результатах может быть двукратной.

Предпринимателю в РФ и СНГ. Из доступных в России моделей, YandexGPT и GigaChat, ни одна пока не предлагает публичных инструментов интерпретируемости уровня Goodfire Silico. Если вам критична проверяемость ответов ИИ, стоит тестировать открытые модели (с открытым кодом и весами), например Qwen, где можно самостоятельно проводить абляционные эксперименты.

Каммарата проверял типичные случаи и увидел чистую картину. Независимая проверка на пограничных примерах показала, что «мусорные» активации отвечают за половину реальной компетенции сети. Пока полный технический отчёт не опубликован, самый честный подход: прочитать оригинал, повторить эксперимент на своих данных и не торопиться с выводами, которых не сделал даже сам автор.