Anthropic нашла в Claude скрытое «J-пространство»: большие языковые модели думают молча

Исследователи Anthropic описали находку в статье «A global workspace in language models», опубликованной на сайте компании. До сих пор разработчики знали два способа, которыми большие языковые модели рассуждают: через цепочку рассуждений (chain of thought), когда модель записывает промежуточные шаги текстом, и через «черновик» (scratchpad). J-пространство работает иначе: оно существует внутри нейронных активаций модели и не оставляет текстового следа. Название «J-пространство» (J-space) происходит от математической концепции якобиана, с помощью которой исследователи его обнаружили.

Что Claude делает «молча» и почему это не цепочка рассуждений?

• Модель может рассказать, о чём думает. Если спросить Claude, что у неё «на уме», она опишет содержимое J-пространства. Паттерны за пределами этого пространства модель вербализовать не способна.
• Модель активирует нужные паттерны по запросу. Когда Claude просят решить задачу «в уме», она включает соответствующие паттерны в J-пространстве. Создать паттерны за его пределами ей трудно.
• Промежуточные шаги решения появляются внутри, а не в тексте. При многошаговой задаче Claude активирует промежуточные шаги в J-пространстве, даже не произнося их вслух. Именно эти паттерны обеспечивают правильный ответ.
• Паттерны работают гибко. Если в J-пространстве активировалось понятие «Франция», модель может извлечь из него столицу, валюту, континент или язык.
• Без J-пространства Claude говорит, но не рассуждает. В экспериментах, где исследователи блокировали доступ к J-пространству, модель сохраняла беглую речь, грамматику и простые факты, но теряла способность к сложным умозаключениям.

Откуда взялась идея: теория «глобального рабочего пространства»

Anthropic прямо указывает, что эксперименты вдохновлены нейробиологической теорией сознательного доступа. В мозге человека большинство процессов идут бессознательно: контроль осанки, дыхание, распознавание букв. Но часть информации попадает в «сознательно доступную» зону, и тогда человек может её описать, контролировать и использовать для намеренных рассуждений.

Исследователи обнаружили аналогичное разделение внутри Claude. J-пространство, это та самая «сознательно доступная» зона модели: небольшая совокупность паттернов, каждый из которых связан с определённым словом. Активация паттерна не означает, что модель произносит слово, а означает, что оно «находится у неё в мыслях».

Ключевой факт: J-пространство не было запрограммировано. Оно возникло самостоятельно в процессе обучения Claude.

Как попробовать самому?

1. Откройте чат с Claude на сайте claude.ai (бесплатный тариф доступен).
2. Задайте модели задачу, требующую нескольких шагов, например: «Какого цвета четвёртая планета от Солнца?» Обратите внимание: Claude даёт верный ответ, хотя не расписывает цепочку «четвёртая планета это Марс, Марс красный».
3. Спросите Claude прямо: «О чём ты сейчас думаешь?» По данным исследования Anthropic, модель способна описать содержимое своего J-пространства.

Что это значит для тех, кто работает с нейросетями в России?

Исследование Anthropic касается архитектурных особенностей больших языковых моделей в целом. В России сейчас доступны собственные модели, прежде всего YandexGPT и GigaChat от Сбера.

О том, есть ли аналог J-пространства в YandexGPT или GigaChat, их разработчики публично не сообщали. Но само открытие говорит о том, что любая достаточно мощная большая языковая модель может формировать подобные скрытые механизмы рассуждений.

Что делать с этим прямо сейчас, по ролям?

Автору на Дзене. Если вы используете нейросеть для генерации текстов, учитывайте: модель может «додумать» то, что вы не просили, именно потому, что внутри неё работают скрытые паттерны. Проверяйте факты в каждом абзаце, галлюцинация (когда модель уверенно выдумывает то, чего не было) часто рождается именно в этих невидимых слоях.

Маркетологу. Промпт-инжиниринг (составление точных запросов к модели) становится ещё важнее. Исследование показывает, что модель активирует внутренние паттерны по запросу: чем точнее промпт, тем больше шансов, что нужные паттерны сработают, а лишние нет.

Разработчику и предпринимателю в РФ. Если вы дообучаете (fine-tuning) модели под свои задачи, открытие Anthropic напоминает: внутри модели могут формироваться структуры, которые вы не закладывали. Это и возможность, и риск, тестируйте поведение модели на краевых случаях.

Частые вопросы

J-пространство это сознание у ИИ?

Нет. Исследователи Anthropic подчёркивают, что используют термин «сознательно доступный» по аналогии с нейробиологией, чтобы описать функциональное свойство: модель может «видеть» и описывать эти паттерны. Это не утверждение о наличии субъективного опыта или сознания у Claude.

Работает ли J-пространство в других моделях, например в GPT или YandexGPT?

Исследование Anthropic проведено на Claude. О наличии аналогичных структур в моделях OpenAI, Google, «Яндекса» или Сбера публичных данных нет. Но авторы статьи опираются на общую теорию нейробиологии, что допускает появление подобных механизмов в любой достаточно крупной модели.

Нужно ли мне как автору что-то менять в работе с нейросетями?

Практический вывод один: модель может рассуждать скрыто, не показывая вам промежуточные шаги. Просьба «покажи ход мысли» не гарантирует, что вы видите всё. Проверяйте итоговый результат по фактам, а не доверяйте логичности изложения.