Галлюцинации нейросетей уже в 1980 судебных делах: как не стать следующим

Французский исследователь Дамьен Шарлотен ведёт эту базу с 2025 года. Среди пострадавших не только граждане, защищающие себя сами, но и почти восемьсот профессиональных юристов. Источник публикует подробности каждого эпизода, и картина одна: люди верят генератору текста как поисковику, а потом не проверяют результат по первоисточникам.

Откуда берётся проблема и почему она касается вас?

Генеративная модель (LLM, large language model, большая языковая модель) не ищет документы в базе данных. Она создаёт текст, который статистически похож на правильный ответ. Разница принципиальная: поисковик показывает чужие документы, которые существуют независимо от запроса, а генератор создаёт документ под запрос.

Внешне выдача неотличима. Но по сути это разница между библиотекой и очень начитанным импровизатором.

Именно поэтому галлюцинации нейросетей бывают двух типов. Первый: дела, которых никогда не существовало (в базе Шарлотена таких 1646 эпизодов). Второй, более коварный: дело настоящее, а цитата из него выдумана (таких больше пятисот). Второй тип ловить на порядок сложнее, потому что номер дела при проверке пробивается.

Что понадобится

• Доступ к любой генеративной модели: ChatGPT, YandexGPT, GigaChat или другой
• Доступ к первоисточникам по вашей теме (юридические базы, научные архивы, официальные сайты)
• 15 минут на освоение алгоритма проверки ниже
• Готовность НЕ верить красивому и уверенному ответу на слово

Пошаговая инструкция: как снизить риск галлюцинаций

1. Разделите задачи «найти» и «сформулировать». Не используйте LLM как поисковик фактов. Факты ищите в профильных базах и на официальных сайтах. LLM используйте для структурирования, переформулирования и черновиков, но не как источник данных.

2. Никогда не проверяйте ответ модели у той же модели. Нью-йоркский юрист Стивен Шварц, готовя возражение по иску против авиакомпании Avianca весной 2023 года, попросил ChatGPT найти прецеденты. Получил шесть дел с номерами, цитатами и ссылками. Потом спросил у того же ChatGPT, настоящие ли эти дела. ChatGPT заверил: настоящие. Все шесть оказались полностью выдуманными. Судья Кевин Кастел констатировал: шесть представленных дел выглядят фальшивыми судебными решениями с фальшивыми цитатами и фальшивыми ссылками.

3. Каждый факт, имя, номер и цитату проверяйте по первоисточнику вручную. Откройте юридическую базу, научный архив или официальный сайт. Если факт не находится там, считайте его выдуманным, пока не доказано обратное.

4. Используйте системный промпт (system prompt, инструкция, которая задаёт модели рамки поведения) с явным запретом на выдумку.

Ты помощник юриста. Отвечай ТОЛЬКО на основе предоставленных документов.
Если информации в документах нет, прямо скажи: «В предоставленных
документах этой информации нет». Не выдумывай номера дел, цитаты
и ссылки. Не дополняй факты из своей памяти.

1. Подавайте модели конкретные документы, а не просите искать по памяти. Загрузите текст нужного закона, решения суда или отчёта и попросите модель работать только с ним. Это резко снижает вероятность галлюцинаций нейросетей, хотя не устраняет её полностью.

2. Если публикуете результат, маркируйте, что текст подготовлен с помощью ИИ, и указывайте, где именно вы провели ручную проверку. Юрист из Колорадо Закария Крабилл, попавшись на выдуманных прецедентах, свалил вину на стажёра и получил реальное отстранение от практики. Суд наказал не за использование LLM, а за попытку скрыть это.

3. Для бизнеса: помните, что компания отвечает за слова своего чат-бота. В деле Моффатта против Air Canada (решение трибунала Британской Колумбии, февраль 2024 года) чат-бот на сайте авиакомпании пообещал пассажиру скидку за утрату близкого, которую настоящие правила не предусматривали. Air Canada заявила, что чат-бот это «отдельная сущность, которая сама отвечает за свои действия». Член трибунала Кристофер Риверс назвал этот довод «замечательным» (в кавычках) и сформулировал принцип: нет разницы, получена информация со статичной страницы или от чат-бота. Отвечает компания.

Что делать прямо сейчас, по ролям?

Авторам Дзена и копирайтерам. Если вы используете нейросеть для сбора фактов, каждую цифру, имя и цитату проверяйте по первоисточнику. Одна выдуманная ссылка может убить доверие ко всему каналу.

Юристам и специалистам по комплаенсу. В базе Шарлотена уже почти 800 профессиональных юристов. В Миннесоте адвоката отстранили от практики просто за факт фальшивых цитат в брифе (brief, процессуальный документ с правовой позицией стороны), без попытки скрыть использование ИИ. Российская судебная практика по этому вопросу ещё не сложилась, но прецеденты США и Канады задают направление: проверяйте каждый вывод модели по профильным базам, пока нормативная рамка не догнала технологию.

Предпринимателям с чат-ботами на сайте. Прецедент Air Canada действует в юрисдикции Канады, но логика применима везде: если бот на вашем сайте пообещал клиенту то, чего нет в правилах, разбираться будут с вами. Из доступных в РФ моделей для таких ботов чаще используют YandexGPT и GigaChat. Обе требуют тщательной настройки системного промпта и ограничения базы знаний, из которой бот берёт ответы.

ИТ-специалистам. Подавайте модели конкретные документы через RAG (retrieval-augmented generation, генерация ответа с опорой на загруженные документы) вместо того, чтобы полагаться на «память» модели. Это не устраняет галлюцинации полностью, но снижает их частоту.

Четыре новых судебных эпизода с выдуманными ИИ-ссылками появляются каждый день, и ни одна модель пока не гарантирует нулевой уровень галлюцинаций. Лучшая защита по-прежнему не техническая: это привычка проверять каждый факт по первоисточнику, прежде чем поставить под ним свою подпись.