Где заканчивается ИИ и начинается человек: анкеты измеряют уверенность, а не навык

Что выяснили исследователи про ИИ-грамотность?

Материал «Вопрос-ответ: где заканчивается ИИ и начинается человек» собирает выводы нескольких обзоров исследований. ИИ-грамотность (AI literacy) в нём определена как набор умений, с которыми человек критически оценивает ИИ, работает с ним вместе и применяет его дома и на работе. Единого определения нет, и это первый вывод материала.

Одни авторы сводят грамотность к знанию и применению ИИ. Другие добавляют эмоции, ценности, уверенность в себе и личную ответственность. В обзоре по школам появились даже отдельные «грамотность в генеративном ИИ» (нейросетях, которые создают текст и картинки) и «ChatGPT-грамотность» для преподавания языков.

Один обзор выделил шесть составляющих и посчитал, как часто их учитывают в работах:

• критическая оценка и этика: 91% работ;
• применение: 82%;
• знание и понимание: 73%;
• распознавание ИИ и создание ИИ: по 64%.

Другой обзор изучил 16 опросников для измерения грамотности. Их авторы так и не сошлись, включать ли туда оценку и создание ИИ.

Главная находка касается измерений. Обзор корреляций (статистических связей между показателями) показал, что связи систематически сильнее, когда грамотность оценивают анкетой, а не тестом с выбором ответа. Авторы объясняют это эффектом Даннинга-Крюгера: слабые в теме люди переоценивают себя, а сильные недооценивают.

У тестов свои слабости: угадывание и тестовые хитрости. Поэтому ни один способ не даёт точной картины в одиночку.

Более грамотные люди реже тревожатся из-за ИИ, больше ему доверяют и чаще им пользуются. Но данные показывают связь, а не причину: нельзя сказать, что обучение само по себе приводит к частому использованию.

Почему это важно для рынка?

Обратите внимание на выборки: в основном это студенты университетов. Обзор не нашёл связи грамотности с возрастом и большинством других признаков, но у студентов близкий возраст, поэтому переносить вывод на взрослых, в том числе на аудиторию 50+, рано.

Отдельное исследование заметило, что молодые люди и мужчины чаще позитивно относятся к «технологической сингулярности», идее ИИ, который превзойдёт человека. Это уже не грамотность, а отношение, но оно влияет на то, как люди воспринимают обучение.

Про работу данные двойственные. На сложных задачах ИИ снимает повторяющуюся рутину и подсказывает решения, уверенность растёт. На простой работе он заменяет человека, навыки притупляются, и уверенность падает.

Анкета частично измеряет уверенность в себе при работе с ИИ, а не объективную грамотность. : Авторы обзора корреляций ИИ-грамотности, в пересказе материала

Ещё два вывода из итогового списка материала касаются границы между машиной и человеком. ИИ помогает собрать знания, которые сотрудник может объяснить при правильных вопросах, но опыт, который словами не выражается, он не достаёт. Хороший результат модели на тесте не равен надёжности в реальной работе, и в редких и сложных случаях её ответ проверяет человек.

Что это значит для вас и что делать по ролям?

Автору Дзена: относитесь к нейросети как к черновику. В материале описан контент-менеджер, для которого грамотность означает не только умение написать запрос, но и проверку фактов и чужих прав в тексте. Из доступных в РФ инструментов это касается YandexGPT и GigaChat так же, как зарубежных.

Маркетологу: не стройте сегменты на допущении «старшие клиенты разбираются хуже». Данные материала это не подтверждают, но и не опровергают для взрослой аудитории, так что проверяйте гипотезу на своих клиентах.

Предпринимателю: перед покупкой курса для команды запишите, чему именно учить. Варианта три: как устроен ИИ, как работать с конкретным инструментом или как проверять его ответы. Результат измеряйте практическим заданием, а не анкетой «оцените свои навыки».

Граница между ИИ и человеком проходит не там, где кончаются умения нейросети, а там, где человек перестаёт проверять её ответы. Сохраняйте эту привычку, и машина будет работать на вас, а не вместо вас.