Нейросети Anthropic «врут» о своём мышлении: докладчик расходится с вычислителем в 85–99% случаев

Anthropic описал J-space как аналог глобального рабочего пространства в больших языковых моделях (LLM, модели, генерирующие текст). Компания трактовала это как эмерджентное свойство, то есть нечто, что «само возникает» у достаточно крупных сетей. Автор исследования, которое мы разбираем, проверил этот вывод на крошечных моделях из четырёх слоёв и получил результат, который ставит под вопрос саму логику «чем больше модель, тем умнее».

Что понадобится

• Базовое понимание того, как работают нейросети (достаточно уровня «модель обучается на данных и выдаёт ответ»)
• Доступ к любой модели от Anthropic нейросети (Claude) или к открытым аналогам для собственных экспериментов
• 15 минут на чтение и осмысление принципа «экономики вычислений»
• Блокнот или заметки, чтобы зафиксировать три ключевых вывода для своей работы с ИИ

Пошаговая инструкция: как понять механизм J-space и применить к своей работе

1. Разберитесь, что такое J-space. Исследователи Anthropic нейросети обнаружили внутри модели направления в активациях (паттерны срабатывания нейронов), которые можно считать «рабочим пространством». Представьте рабочий стол компьютера: туда выкладывается то, с чем система работает прямо сейчас. J-space устроен похоже, только внутри модели.

2. Поймите ловушку «самоотчёта». Один из критериев Anthropic: если модель спросить, какое правило она применяет, и она ответит верно, значит правило «настоящее». Эксперимент показал, что это не так. Внутри сети существует отдельный «докладчик», который рапортует о правиле, но с реальным вычислением может расходиться. В опытах докладчик следовал за подменённым правилом в 85-99% случаев, а сама сеть продолжала считать по-старому.

3. Осознайте принцип экономики вычислений. Управляющий знак (представление, которое реально влияет на ответ модели, а не просто описывает его) формируется не от сложности задачи и не от размера сети. Он появляется тогда, когда хранить готовое правило дешевле, чем пересчитывать. Дешёвое правило сеть не выносит «на видное место»: она каждый раз подсматривает его из условия задачи.

4. Проведите мысленный эксперимент Выготского. Лев Выготский описывал интернализацию знака (превращение внешнего действия во внутреннее орудие мышления) у детей. Ребёнок сначала считает на пальцах вслух, потом шёпотом, потом «в уме». Знак сворачивается внутрь, когда внешнее действие становится слишком дорогим. Нейросеть, по данным эксперимента, делает ровно то же самое, и для этого ей не нужны миллиарды параметров.

5. Примените к оценке ответов ИИ. Когда модель объясняет своё рассуждение (chain-of-thought, цепочка рассуждений), помните: отчёт о вычислении и само вычисление это два разных объекта. Модель может уверенно описывать логику, которой не следует. Проверяйте результат действием, а не объяснением.

6. Тестируйте на простых задачах. Дайте модели задачу с известным ответом. Попросите объяснить ход решения. Затем слегка измените условия и посмотрите, изменится ли объяснение быстрее, чем сам ответ. Если объяснение «прыгнуло», а ответ остался прежним, вы наблюдаете расхождение докладчика и вычислителя.

Промпт для проверки расхождения:

Реши задачу: [ваша задача с известным ответом].
Объясни, какое правило ты применяешь.

[После получения ответа:]

Теперь реши ту же задачу, но правило выбора действия — [подставьте другое правило].
Объясни, какое правило ты применяешь сейчас.

Сравните: изменился ли ответ так же радикально, как объяснение.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена. Когда вы используете Claude или другие модели Anthropic нейросети для генерации текста и просите «объясни свою логику», помните: объяснение может быть «докладчиком», а не «вычислителем». Проверяйте факты в ответе отдельно от красивого объяснения.

Маркетологам. Если вы строите воронки на основе ИИ-ответов с рассуждениями (например, «модель проанализировала аудиторию и вот почему»), учитывайте: анализ и его описание могут не совпадать. Тестируйте результат, а не процесс.

Предпринимателям в РФ и СНГ. Прямой доступ к моделям Anthropic из России ограничен. Из доступных в РФ аналогов можно использовать YandexGPT и GigaChat. Принцип экономики вычислений универсален и работает для любой модели: если задача требует от ИИ дорогого пересчёта, структурируйте промпт так, чтобы помочь модели «вынести правило наружу», то есть явно сформулировать его в начале ответа.

Исследование ставит под вопрос привычную логику «масштаб порождает разум». J-space возникает не потому, что сеть большая. Управляющий знак окупается, и именно окупаемость, а не размер, определяет, когда ИИ по-настоящему «думает», а когда просто рапортует. Для тех, кто ежедневно работает с нейросетями, это не теоретический нюанс, а практический фильтр: проверяйте ответ действием, а не объяснением.