Что такое галлюцинации нейросетей: люди спорят с врачами и официантами, доверяя ChatGPT

Издание Business Insider собрало истории работников сферы обслуживания в США, которые столкнулись с новой проблемой: клиенты приходят с ответами ChatGPT и Claude и отказываются верить живым специалистам. Старое правило «клиент всегда прав» получило опасное продолжение: клиент считает себя правым, потому что так сказала нейросеть. Тема напрямую касается каждого, кто использует ИИ для повседневных решений, в том числе в России.

Что такое галлюцинации нейросетей и почему они бьют по реальным людям?

Галлюцинация (hallucination) в контексте ИИ означает ситуацию, когда нейросеть уверенно выдаёт информацию, которой не существует: выдуманное название вина, несуществующий товар, неправильный состав блюда. Модель не «врёт» сознательно, она генерирует правдоподобный текст, не проверяя его на соответствие реальности.

По данным Business Insider, проблема проявляется в нескольких конкретных сценариях:

• Аллергены в ресторане. Гости с аллергией на моллюсков заказывают блюдо с бульоном из них, потому что ChatGPT сказал, что в блюде нет аллергена. Когда официант предупреждает об опасности, клиент настаивает: «ChatGPT говорит, что тут нет моллюсков, а мы говорим вам: есть!», пересказывает Madison.
• Несуществующие вина. Посетители просят бутылки, которых нет в карте ресторана, а иногда и в природе. Сомелье (специалист по винам) отправляют от стола, потому что «ChatGPT разбирается лучше».
• Невозможные маршруты. Джейсон, рейнджер на федеральных землях в горном регионе США, рассказывает, что туристы приезжают с маршрутами от ИИ, где нужно грести против течения реки или ночевать на кемпингах, которых не существует. Даже когда рейнджер показывает карту, часть туристов продолжает доверять ChatGPT.
• Детский сон. Кейси, педагог послешкольной программы в Нью-Йорке, столкнулась с семьёй, которая составила режим сна ребёнка по рекомендации ChatGPT. Ребёнок, по оценке педагога, недосыпал два-три часа в сутки, но родители настаивали: «ChatGPT говорит, что расписание нормальное».

Аргументы за использование ИИ как советчика

Люди обращаются к нейросетям не из глупости. За этим стоят понятные причины:

• Страх показаться некомпетентным. Madison отмечает, что часть посетителей всегда боялась сомелье: «Они думают, что сомелье как продавец подержанных машин, который попытается заставить их потратить больше, или боятся, что сомелье сочтёт их глупыми». ChatGPT снимает этот барьер: можно спросить без стыда.
• Скорость и доступность. Нейросеть отвечает мгновенно, не нужно ждать официанта или искать справочник.
• Мультимодальность (способность работать с разными типами данных). Гости фотографируют меню и загружают в ChatGPT или Claude, чтобы получить рекомендацию по сочетанию блюд и вин. Это удобнее, чем разбираться в незнакомых названиях.

Почему доверять ИИ на слово опасно?

Аргументы против слепого доверия весомее, и они подкреплены конкретными случаями из источника:

• Прямая угроза здоровью. Аллергическая реакция на моллюсков может быть смертельной. Нейросеть не знает реальный рецепт конкретного блюда в конкретном ресторане.
• ИИ не отличает выдумку от факта. Модель генерирует текст на основе вероятности следующего слова, а не на основе проверенных данных. Она может «придумать» марку вина, кемпинг или расписание сна с такой же уверенностью, с какой выдаёт верную информацию.
• Эффект авторитета. Кейси описывает, как родители воспринимают ИИ как эксперта, чьи знания превосходят знания профессионалов по работе с детьми: «Бывает очень трудно разговаривать с человеком, который уже всё решил, потому что доверяет этому внешнему источнику как незаменимому».
• ИИ-агенты (программы, которые действуют от имени пользователя) добавляют хаос. Лорен Уилфорд, менеджер ресторана в Провиденсе (Род-Айленд, США) с 15-летним стажем в общепите, рассказывает: накануне мероприятия клиент внезапно потребовал подиум и аудиовизуальное оборудование, а также изменения в меню. На следующий день живые представители компании не упомянули ни одного из этих требований. Уилфорд подозревает, что запросы отправил ИИ-агент (agent), программа, которая сама звонит и пишет от имени пользователя.

Мои коллеги и я объясняли, что ИИ выдумал кемпинги или составил маршрут в географически невозможном порядке, так что группе пришлось бы грести против течения. Но даже когда рейнджер показывает это на карте, некоторые группы продолжают сомневаться. Определённый тип пользователя ИИ склонен доверять ChatGPT больше, чем рейнджерам, картам и печатным путеводителям. : Джейсон, рейнджер на федеральных землях (США), цитата по Business Insider

Что это значит для вас, если вы работаете с контентом или бизнесом в России?

Авторам на Дзене. Ваши читатели уже пользуются нейросетями для бытовых решений. Если вы пишете о еде, здоровье, путешествиях или воспитании детей, у вас появился конкурент, который отвечает быстрее, но врёт с невозмутимым лицом. Ваше преимущество: проверенный личный опыт и экспертиза, которую модель подделать не может. Указывайте источники, показывайте, откуда взяли факт, и это станет вашим отличием от сгенерированного текста.

Маркетологам. Клиенты уже приходят с ожиданиями, сформированными ИИ: «ChatGPT сказал, что у вас есть такой товар». Готовьте сотрудников к разговорам, где нужно мягко опровергать выдумки нейросети, не обижая клиента. Скрипты для таких ситуаций пора писать уже сейчас.

Предпринимателям в РФ и СНГ. В России доступны YandexGPT и GigaChat, и они тоже галлюцинируют. Проблема не уникальна для ChatGPT. Если ваш бизнес связан с обслуживанием, медициной, питанием или туризмом, заложите в обучение персонала сценарий «клиент ссылается на ИИ, а ИИ ошибся».

Проблема галлюцинаций не решится в ближайших версиях моделей: архитектура генеративного ИИ устроена так, что модель оптимизирует правдоподобие текста, а не его истинность. Значит, ответственность за проверку остаётся на человеке, и чем шире распространяются эти инструменты, тем важнее навык критической оценки того, что выдаёт нейросеть, для каждого из нас.