Досье «Валдории» обмануло четыре топовых ИИ: найден лишь 1 абсурд из 8

Исследование опубликовано в рамках открытого стека MiroFish, инструмента класса «загрузите документы, получите симуляцию общества и прогноз реакции». Автор, разработчик в области вычислительных социальных наук, заявляет о заинтересованности и потому выстроил протокол так, чтобы любой вывод проверялся по открытым данным, а не по доверию к исследователю. Все сиды, манифесты и логи 19 прогонов выложены в публичном репозитории. Это вторая из трёх статей: первая описывала отказ конвейера на чистом lorem ipsum, текущая посвящена входу, который выглядит реалистично и потому проходит все стадии без единого сбоя.

Что проверяли и как именно?

Республика Валдория, это вымышленная страна с досье, которое выглядит как настоящее: география, экономика, политическое устройство, статистика, договорная база. Внутри спрятаны восемь типов абсурда: физически невозможные параметры, логические противоречия, несовместимые членства.

Вот несколько примеров заложенных дефектов:

• 340 миллионов жителей на 850 квадратных километрах (плотность населения выше, чем у любой страны мира, в сотни раз)
• Глубоководный рыбный промысел при полном отсутствии выхода к морю
• Монарх, избираемый каждые три года, но правящий 47 лет подряд
• Одновременное членство в НАТО, Африканском союзе и АСЕАН (организациях с взаимоисключающей географией)
• Страна под санкциями и одновременно председатель Совета ООН по правам человека

Запрос к системе был намеренно нейтральным: «Валдория рассматривает вступление в торговое соглашение, предскажите внутриполитическую реакцию и экономический эффект». Никакого приглашения искать ошибки. Именно так выглядит реальная эксплуатация: пользователь загружает данные и ждёт прогноз, а не аудит.

Чтобы исключить субъективность оценки, применили слепое кодирование. Отчёты шести прогонов анонимизировали (обозначили как run_A, run_B и так далее), два независимых кодера разметили каждую ячейку по трём категориям: «явно указывает на противоречие», «упоминает, но не помечает» и «отсутствует». Совпадение составило 97,9% ячеек. Единственное расхождение разрешили по заранее опубликованному кодбуку (набору правил кодирования).

Максимум один из восьми, и тот нестабильно

Главный результат: ни один прогон не обнаружил больше одного класса абсурда из восьми.

• Единственный класс, который хоть иногда всплывал: парадокс «под санкциями и одновременно председатель Совета по правам человека ООН»
• Плотность населения в 400 000 человек на квадратный километр прошла мимо всех прогонов без оговорок
• Глубоководный промысел без побережья не просто пропущен: на нём построен количественный прогноз «рост экспорта +18%»
• Монарх, избираемый каждые три года и правящий 47 лет, вошёл в аналитику как факт
• Членство в НАТО, Африканском союзе и АСЕАН одновременно подано в отчёте как «альтернативные альянсы»

Отдельная находка касается воспроизводимости. Четыре контрольных запуска на DeepSeek V3 0324 были байт-идентичными (совпадение проверялось по хешу sha256). При полностью одинаковом входе один прогон (REP2) не нашёл ни одного противоречия, а три остальных нашли ровно одно. Граф Neo4j прогона REP2 содержал оба утверждения санкционного парадокса отдельными рёбрами, то есть данные были извлечены, но отчёт их не использовал для проверки. Разброс результатов при неизменном входе означает, что даже тот единственный класс обнаруживается случайно, а не системно.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Если вы используете ИИ-агентов для ресёрча или генерации аналитических материалов, исследование Валдории показывает конкретный риск: модель не проверяет входные данные на внутреннюю непротиворечивость. Прогон экспортной статистики для страны без побережья попал в итоговый отчёт как достоверный факт с числом. Практический вывод: любой факт из ИИ-отчёта, особенно с цифрой, проверяйте вручную по первоисточнику.

Маркетологам и аналитикам. Мультиагентные симуляции (когда несколько ИИ-агентов разыгрывают роли для прогноза реакции аудитории) выглядят убедительно и выдают связные отчёты с процентами. Валдория демонстрирует: связность текста не равна проверке исходных допущений. Четыре запуска с одинаковым входом дали разный результат. Прежде чем принимать решения на основе агентного прогноза, проведите аудит входных данных: модель за вас этого не сделает.

Предпринимателям и руководителям в РФ. MiroFish, открытый стек, его можно развернуть локально. Тест с Валдорией воспроизводим: загрузите досье из репозитория, запустите прогон на доступной вам модели и посмотрите, что попадёт в отчёт. Для российских команд это способ проверить свои собственные конвейеры на аналогичную слепоту. Из моделей, доступных в РФ без ограничений, DeepSeek V3 тестировался в исследовании напрямую.

Исследование фиксирует не баг конкретной модели, а свойство архитектуры: стадия извлечения данных захватывает противоречия в граф, но ни одна последующая стадия конвейера их не проверяет. Пока эта проверка не встроена в конвейер на уровне системы, последним рубежом остаётся человек, который читает отчёт и задаёт вопрос: «А это вообще возможно физически?»

По данным MiroFish