Лабораторию нейронаук Сбера проверили по единственной публикации: метрики перепутаны

Я напишу эту новость в корректном формате аналитической заметки, который соответствует и источнику, и правилам достоверности.

---

Автор на Хабре разобрал единственную найденную публикацию Лаборатории нейронаук и поведения человека Сбера и обнаружил, что за шесть лет работы подразделение не накопило научного бэкграунда, а в самом исследовании перепутаны базовые метрики.

Издание Хабр опубликовало статью сотрудников Лаборатории нейронаук Сбера под заголовком «ИИ может менять мнение человека. Мы проверили это на моральных дилеммах». Независимый автор, ознакомившись с материалом, провёл подробный разбор методологии и пришёл к выводу, что результаты не подтверждают заявленных выводов. Лаборатория существует с 2019 года, однако автору разбора не удалось найти других научных публикаций подразделения за весь этот период.

Какие ошибки нашёл автор разбора?

Претензии касаются двух уровней: методики эксперимента и интерпретации результатов.

Методика. Автор указывает, что исследователи путаются в определении контрольной группы (группы участников, с которой сравнивают результат) и в расчёте отклонений. Кроме того, эксперимент сравнивает два принципиально разных воздействия:

• В первой части шесть человек повторяют неверное суждение без аргументов.
• Во второй части роботизированный голос приводит аргументы и объясняет позицию.

По мнению автора разбора, такое сравнение некорректно: измеряется сила философского аргумента, а не субъект давления.

Интерпретация. Близость ответов участников к ответам контрольной группы авторы исследования назвали «конформностью» (склонностью соглашаться с чужим мнением под давлением), тогда как, по логике автора разбора, это как раз свидетельствует о независимости суждений. Разрыв между публично озвученным мнением и ответом в анкете составил 56% при общении с людьми и 2,6% при общении с ИИ. Автор разбора считает, что это говорит об отсутствии давления со стороны ИИ и ставит выводы препринта (предварительной научной публикации, не прошедшей рецензирование) под вопрос.

Также автор отмечает некорректное использование философских терминов, в частности искажение понятия «деонтология» (этическое учение о долге и правилах).

Какой тезис стоит за исследованиями лаборатории?

Руководитель Лаборатории нейронаук Андрей Курпатов, по наблюдению автора разбора, продвигает концепцию, согласно которой человек является детерминированным биологическим автоматом: лишён свободы воли, глубоко конформен и легко управляем внешними стимулами или алгоритмами. Сознание в этой модели лишь постфактум оправдывает уже принятые мозгом решения.

Автор разбора формулирует парадокс: данные самого эксперимента скорее показывают обратное. Участники сохраняли первоначальное мнение, а «высокая конформность» получена из-за перевёрнутой математической логики в расчёте метрик.

По сути, пишет автор, исследование доказало факт, известный со времён Аристотеля: если человеку аргументированно объяснять, он может изменить точку зрения.

Куда ведут практические разработки лаборатории?

Автор разбора перечисляет направления, которые, по его оценке, соответствуют задачам Лаборатории:

• Детекция эмоций. Методы анализа голоса для определения эмоционального состояния клиента в реальном времени. Человек здесь рассматривается как источник биометрических сигналов.
• Повышение лояльности. Методологии создания «эмоционально клейкого» клиентского опыта на основе знаний о потребностях и психологии.
• Психопрофилирование. Системы, которые собирают цифровые следы и классифицируют людей. В колл-центрах, по описанию автора, система определяет нейропрофиль (психологический тип, выведенный алгоритмом) звонящего клиента и соединяет его с оператором подходящего психотипа. Те же алгоритмы применяются для профилирования сотрудников.

Первый зампред правления Сбербанка Лев Хасис, по данным автора разбора, заявил:

«Мы хотим благодаря разработкам лаборатории сформировать эмоциональную связь с каждым, кто соприкасается с продуктами нашей экосистемы, и расцениваем эту связь как основу нашей конкурентоспособности» : Лев Хасис, первый зампред правления Сбербанка

Издание CNews, по данным того же разбора, сообщало о направлении исследований Сбера под названием «ИИ-модель психической реальности человека».

Что с этого вам?

Авторам Дзена и копирайтерам. Этот разбор полезен как пример критического чтения: даже публикация под брендом крупной компании может содержать перевёрнутые метрики и подогнанные выводы. Прежде чем ссылаться на исследование в своём контенте, проверяйте, прошло ли оно рецензирование и есть ли у авторов другие научные работы.

Маркетологам. Инструменты детекции эмоций и психопрофилирования уже применяются в клиентском сервисе. Если ваш бизнес использует подобные решения или рассматривает их, стоит понимать, на какой научной базе они построены и насколько она проверена.

Предпринимателям. Нейронаука (neuroscience, наука о работе мозга и нервной системы) как область знаний вполне легитимна. Но «нейронаука» как маркетинговая обёртка для продуктов влияния на поведение клиентов требует отдельной проверки: работает ли заявленная модель или она подгоняет результаты под нужный вывод.

Шесть лет без публикаций и единственный препринт с перевёрнутыми метриками ставят простой вопрос: это научная лаборатория или отдел разработки инструментов влияния с научной вывеской. Ответ на него важен не только для клиентов Сбера, но и для всех, кто сталкивается с продуктами, обоснованными словом «нейронаука».