Claude нейросеть жёстче всего критикует на русском: Anthropic изучила 310 000 диалогов

Что на самом деле измерили?

Anthropic взяла реальные разговоры пользователей с Claude AI на официальном сайте нейросети и отобрала только субъективные задачи, то есть такие, где нет единственно верного ответа: оценить бизнес-план, дать совет, прокомментировать текст. Выборку распределили поровну между тремя моделями и двадцатью языками, примерно по 5 000 диалогов на каждую пару «модель плюс язык».

Разметку делал не человек. Диалоги анализировал сам Claude внутри Clio, внутреннего инструмента Anthropic для исследования бесед с сохранением приватности.

Предыстория такая: в прошлом исследовании Values in the Wild компания нашла в ответах Claude 3 307 различных «ценностей». Список такого размера бесполезен для сравнения. Поэтому ценности вручную объединили в 339 групп, выбросили 18 слишком общих (например, «полезность» встречается более чем в 80 % диалогов и ничего не говорит о различиях), а к остальным применили снижение размерности. Приём знаком по психологии: примерно так из тысяч прилагательных когда-то вывели «Большую пятёрку» черт личности.

Четыре оси «характера» Claude

В итоге осталось четыре шкалы. Каждая натянута между двумя полюсами:

• Уступчивость или осторожность. Идти навстречу пожеланиям пользователя или страховаться от рисков.
• Теплота или строгость. Позитив и поддержка или точность и дотошность.
• Глубина или краткость. Развёрнутое объяснение с нюансами или ровно то, что просили.
• Откровенность или исполнительность. Честно показывать собственную неуверенность или выдавать отполированный результат.

Метод сначала проверили на моделях, и профили совпали с тем, как пользователи описывают каждую из них. Sonnet 4.6 оказался самым тёплым и уступчивым: шутит, хвалит идеи. Opus 4.6 краток, не выходит за границы запроса. Opus 4.7 больше всех склоняется к осторожности и глубине, спорит с ложными посылками и без спроса предупреждает о рисках. Раз оси воспроизводят субъективные впечатления людей, значит, они измеряют реальные различия, а не статистический шум.

Русский язык оказался на полюсе максимальной строгости

Когда те же оси приложили к языкам, самый заметный разброс обнаружился по шкале «теплота или строгость». Дальше всех в теплоту Claude нейросеть уходит на хинди: вежливые формулировки, юмор, подбадривание. Рядом арабский, где Claude ещё и максимально уступчив. Противоположный полюс заняли английский и русский, причём именно на русском Claude уходит в строгость дальше всех из двадцати исследованных языков.

Строгость (rigor) в терминах исследования это не суровый тон, а дотошность: оспаривание сомнительных допущений, исправление неточностей, запрос доказательств. Русскоязычный Claude ведёт себя как придирчивый редактор, которому найти ошибку важнее, чем подбодрить автора.

Из частностей: на голландском модель охотнее всего признаёт собственные ошибки (максимум откровенности), а на индонезийском молча делает, что сказано (максимум исполнительности).

Почему так вышло?

Anthropic честно признаёт: компания не знает. Гипотезы две.

Первая: объём обучающих данных (training data, то есть тексты, на которых учили модель) сильно различается между языками, и выравнивать поведение проще там, где данных больше. Вторая: различается состав данных. Для одних языков в обучающей выборке может быть непропорционально много аналитических и профессиональных текстов, а они отражают иные ценности, чем разговорная речь.

Anthropic также не определилась, считать ли найденные различия полезной адаптацией к культурным нормам языка или отклонением от задуманного поведения, которое нужно исправлять. Компания называет обе версии и не выбирает между ними.

Мы пока не знаем, как относиться к обнаруженным различиям: как к полезной особенности или как к недостатку, который надо исправлять обучением. : Anthropic, отчёт Values Across Languages

Что это значит для вас?

Авторам Дзена. Если вы используете Claude нейросеть для вычитки текста или проверки аргументации, русский язык вам на руку: модель будет искать слабые места тщательнее, чем на большинстве других языков. Но если нужен мозговой штурм с поддержкой идей, попробуйте сформулировать задачу на английском или добавить в системный промпт (system prompt, скрытая инструкция, которая задаёт поведение модели до начала диалога) прямое указание «поддерживай идеи, не критикуй».

Маркетологам. Результат означает, что A/B-тесты текстов через Claude на разных языках дадут разные оценки не из-за качества текста, а из-за языковой настройки модели. Учитывайте это при сравнении.

Предпринимателям в РФ и СНГ. Доступ к Claude AI на официальном сайте нейросети (claude.ai) в России ограничен и требует VPN. Из доступных в РФ альтернатив, YandexGPT и GigaChat, подобных исследований поведения по языкам пока не публиковали. Вопрос, ведут ли они себя иначе на русском, остаётся открытым.

Пока Anthropic решает, баг это или фича, русскоязычный Claude остаётся самым придирчивым собеседником из двадцати языков. Если вам нужен строгий аудит, а не комплименты, просто пишите по-русски.