Автор Хабра объяснил, что такое галлюцинации нейросетей: проверять ответ ИИ придётся вам

Чтобы понять, что такое галлюцинации нейросетей, удобно начать с термина. Галлюцинация означает ситуацию, когда ИИ уверенно выдаёт то, чего нет или что не соответствует действительности. Колонка на Хабре называется «мерзкое чтиво из двух частей». Это первая часть, и в ней автор объясняет проблему не формулами, а бытовыми сценами.

Почему опасен не вопрос к ИИ, а неумение понять ответ?

Автор строит текст на одном тезисе: задать вопрос и услышать ответ мало, ответ нужно уметь оценить. Ключевые мысли колонки:

• Ресторанный пример. Вы спрашиваете ИИ-официанта, какое вино подойдёт к телячьим почкам: Поммар (Pommard) или Нюи-Сен-Жорж (Nuits-Saint-Georges). Он уверенно советует Пино Нуар Нюи-Сен-Жорж урожая 2017 года. Автор спрашивает читателя, сможет ли тот отличить одно вино от другого.
• Подмена. А если официант предложит Абрау-Дюрсо терруара Геджух? Терруар здесь означает место и условия, где вырос виноград. Если вам принесут безымянное вино с восторженным описанием, без своих знаний вы не поймёте, что получили.
• «Нива с шильдиком Порше». Те же четыре колеса, мотор и руль. Если вы заранее не знаете, что такое «Порше», вам можно ответить что угодно.
• ИИ как аппроксимация. Аппроксимация означает приближение, усреднение всего, на чём модель училась. По словам автора, в ответ попадает и маркетинг, поэтому в нём «намешано всё в кучу».
• Закрытые данные. Автор утверждает, что владельцы ИИ не говорят, на чём обучали модели, и сами не понимают, насколько достоверны эти обучающие данные.
• Старая информация. По мнению автора, ответ ИИ строится на старых новостях и в нём нет новых знаний. Бизнес на таком ответе он сравнивает с бизнесом «на чужих слухах и не ваших легендах».

Итог автор формулирует так:

главное понять ответ, квалифицированно и компетентно его оценить : Автор колонки на Хабре

Обратите внимание: в колонке нет ни одного исследования и ни одной цифры о частоте ошибок. Это авторская позиция с примерами, а не замер.

Как проверить ответ нейросети самому?

Колонка инструкции не даёт, ниже практические шаги, которые вытекают из её логики:

1. Задавайте ИИ вопросы в той теме, где вы сами разбираетесь хотя бы на базовом уровне. Так вы заметите подмену «Поммара» на что-то другое.
2. Каждое название, дату и цифру из ответа проверяйте по первоисточнику: сайту производителя, документу, официальной странице.
3. Просите модель указать, откуда она взяла факт. Если источника нет, считайте утверждение непроверенным.
4. Помните о возрасте знаний модели. Про свежие события ИИ может ответить по старым данным и не предупредить об этом.

С российскими нейросетями правило то же?

Колонка не называет конкретных сервисов. Из доступных в РФ аналогов, YandexGPT и GigaChat. Логика автора о том, что ответ надо уметь проверить, на мой взгляд, относится к любому ИИ-помощнику, будь он зарубежным или российским.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Не публикуйте факты из нейросети без сверки. Одна выдуманная дата или цитата в статье бьёт по доверию к каналу сильнее, чем слабый заголовок.

Маркетологу. ИИ ускоряет черновик, но не снимает ответственность за содержание. Закладывайте время на проверку фактов в каждый текст, сделанный с помощью модели.

Предпринимателю. Не стройте решения на ответе ИИ о рынке или технологиях без эксперта. Автор прямо предупреждает: модель может «подсунуть старьё», и без своих знаний вы этого не заметите.

Что чаще всего спрашивают о галлюцинациях нейросетей?

Почему нейросеть ошибается так уверенно?

По логике автора, ИИ выдаёт усреднённый ответ на основе того, на чём учился, включая рекламу и устаревшие сведения. Модель не сомневается, она подбирает правдоподобный ответ.

Можно ли полностью доверять ИИ в незнакомой теме?

Автор отвечает отрицательно: если вы заранее не знаете ответа, вы не отличите точный совет от подмены. В незнакомой теме ИИ годится для черновика, но не для финального решения.

О чём будет вторая часть колонки?

Автор анонсирует её как рассказ о кибернетике и о том, «что с ней не так». Дату выхода он не назвал.

Пользуйтесь нейросетью как быстрым помощником, а не экспертом: последнее слово оставляйте за тем, кто отличит Поммар от безымянной бутылки.