Адвокат оштрафован за галлюцинации искусственного интеллекта

Дело Ааронса стало частью растущей волны случаев, когда суды обнаруживают в документах адвокатов ссылки и цитаты, которых не существует. По данным Reuters, только за прошлый год судья раскритиковал две юридические фирмы за «многочисленные ложные, неточные и вводящие в заблуждение юридические цитаты», а адвокатов бизнесмена Майка Линделла оштрафовали за фальшивые цитаты и несуществующие ссылки, созданные ИИ. Нейросеть для исправления ошибок в тексте здесь не поможет: проблема не в орфографии, а в том, что модель генерирует правдоподобную, но полностью вымышленную фактуру.

Что именно произошло?

• Адвокат использовал ChatGPT для составления апелляционной записки по делу об осуждении за убийство и, по его собственному признанию, рассчитывал получить «пуленепробиваемое резюме» процесса.
• Записка содержала показания полностью выдуманных свидетелей, а также ложные описания внешности и одежды стрелка, которые якобы давали полицейские.
• Суд признал Ааронса виновным в неуважении к суду за то, что тот не проверил «фактические утверждения и юридические основания в записке, сгенерированной ИИ».
• Судья Си Шеннон Бэйкон на слушаниях в августе спросила адвоката напрямую: «Вы читаете новости? Слушаете радио? Читаете хоть что-нибудь о том, что происходит в мире?» и добавила, что «проблема юристов, полагающихся на галлюцинации ИИ, каждый день попадает на первые полосы газет».

Показательно, что Ааронс не пытался обмануть суд намеренно. В заявлении для Reuters он назвал произошедшее «честной ошибкой» и выразил раскаяние. Но суд расценил незнание рисков не как оправдание, а как отягчающее обстоятельство.

Как защитить себя от подобной ситуации?

1. Никогда не подавайте текст, сгенерированный ИИ, без ручной проверки каждого факта. Имена свидетелей, номера дел, цитаты из протоколов необходимо сверять с первоисточником.
2. Относитесь к ChatGPT и любой языковой модели как к черновику, а не к справочнику. Модель не ищет информацию в базах данных суда, она генерирует текст, который выглядит убедительно, но может не иметь связи с реальностью.
3. Используйте нейросеть для исправления ошибок в тексте, стилистики и структуры, но не для создания фактической базы. Сильная сторона ИИ в юридической работе: редактура, упрощение формулировок, подготовка шаблонов. Слабая: выдумывание «фактов» с абсолютной уверенностью.

Есть ли похожие риски в России?

Российские суды пока не выносили публичных решений о штрафах за галлюцинации ИИ в процессуальных документах. Но это вопрос времени, а не принципа: YandexGPT и GigaChat точно так же способны генерировать несуществующие ссылки на постановления Пленума или придумывать номера дел.

Для российских юристов, авторов и всех, кто работает с текстом, урок одинаковый: модель не знает, что врёт, и не предупредит вас об этом.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена: если вы используете ChatGPT или YandexGPT для подготовки статей, проверяйте каждую цитату, каждое имя эксперта, каждую ссылку на исследование. Несуществующий источник в статье это не просто ошибка, это удар по доверию канала.

Юристам и консультантам: заведите правило: любой документ, подготовленный с помощью ИИ, проходит ту же проверку, что и документ от стажёра. Номера дел, фамилии судей, формулировки из кодексов сверяйте по правовым базам.

Предпринимателям: если ваши сотрудники используют ИИ для деловой переписки, коммерческих предложений или отчётов, введите внутренний регламент проверки. Один выдуманный факт в письме клиенту может стоить контракта.

Частые вопросы

ChatGPT намеренно обманывает пользователей?

Нет. Галлюцинация это не обман, а особенность работы языковой модели. Она предсказывает следующее слово на основе вероятности, а не ищет факты в базе данных. Результат выглядит убедительно, но может быть полностью выдуман. Модель не различает правду и вымысел.

Могут ли оштрафовать за ИИ-ошибки в России?

Специального закона об ответственности за галлюцинации ИИ в России пока нет. Но процессуальное законодательство возлагает ответственность за содержание документа на того, кто его подписал. Если адвокат подаст в российский суд записку с несуществующими ссылками на постановления, последствия будут определяться действующими нормами об ответственности представителя.

Можно ли безопасно использовать ИИ в юридической работе?

Да, но только как инструмент для черновиков, структурирования аргументов и редактуры формулировок. Каждый факт, каждая ссылка, каждое имя требуют ручной сверки с первоисточником. Суд Нью-Мексико наказал не за использование ИИ как такового, а за отказ проверить результат.

Фраза судьи Бэйкон «вы вообще читаете новости?» звучит как вопрос не только к Ааронсу, а ко всем, кто нажимает «скопировать» раньше, чем «проверить».