Проверка текста на нейросеть стоит дороже его создания: почему верификация съедает выгоду от ИИ

В чём суть?

Проблема проста до обидного. Промпт (текстовый запрос к нейросети) вроде «добавь цифры, причины и примеры» заставляет LLM (большую языковую модель, ту самую основу ChatGPT и аналогов) выдать результат, который выглядит убедительнее. Но одновременно усложняет работу автора: каждую цифру, каждую причинную связь и каждую деталь примера нужно подтвердить отдельно.

Типичная фраза из черновика: «Рынок вырос на 18% благодаря спросу со стороны малого бизнеса и к 2030 году достигнет 40 млрд долларов». Одно предложение, а за ним минимум пять вопросов: какой именно рынок, кто посчитал, с какого года считается рост, откуда известна причина и по какой методике построен прогноз. Модель всё это собрала, причесала и упаковала. Автору придётся разбирать фразу обратно.

Причём дело не только в отдельных ошибках. Исследователи из National Taiwan University обнаружили, что LLM способны брать проверяемые сведения о разных людях со схожими именами и соединять их в один текст. Каждое утверждение имело источник, а человека, которого описывал абзац, не существовало. После поправки на такую подмену оценки фактичности четырёх открытых моделей (моделей с доступным кодом) снизились более чем на 10%.

Вывод жёсткий: даже если каждый факт по отдельности верен, весь текст может быть ложным.

Аргументы за: ИИ-проверка экономит время

• Скорость. В эксперименте с 80 участниками LLM помогала проверять утверждения быстрее обычного поиска при сопоставимой точности.
• Масштаб. Одна модель способна за минуты пройтись по десяткам утверждений, на которые у человека ушли бы часы ручного гуглинга.
• Перекрёстная схема. Есть соблазн устроить конвейер: ChatGPT пишет, DeepSeek критикует, Claude выбирает лучший вариант. На практике такая цепочка иногда действительно ловит грубые ляпы.
• Автоматические оракулы для кода и расчётов. Там, где есть формальный критерий правильности, ИИ-проверка работает. Система AlphaProof от DeepMind искала математические доказательства на языке Lean (язык формальной верификации, где программа проверяет каждый логический шаг). Вместе с AlphaGeometry 2 она решила четыре из шести задач Международной математической олимпиады 2024 года и набрала 28 баллов, столько же требовалось для серебряной медали.
• AlphaEvolve от DeepMind использует похожую логику: модель предлагает варианты программ, автоматические проверяющие сразу показывают, какие дают улучшение. Слабые отсеиваются, лучшие идут в следующий круг. По данным DeepMind, найденное системой решение ускорило одно из вычислительных ядер Gemini на 23%.

Аргументы против: проверка текста на нейросеть ненадёжна

• Метрики расходятся между собой. В исследовании Verify with Caution авторы проверили пять современных метрик фактичности на одиннадцати наборах данных. Метрики ошибались на перефразировках и хуже находили подтверждение, если нужный фрагмент располагался далеко от проверяемой фразы.
• Чрезмерное доверие. Когда модель давала неверное, но убедительное объяснение, люди начинали ей чрезмерно доверять. Показ доводов «за» и «против» снижал этот эффект, но значимого преимущества перед обычным поиском не давал.
• Текст не код. Код можно проверить тестом: функция возвращает ожидаемое значение или проваливает тест. Математику можно верифицировать формально. Но даже в AlphaProof некоторые доказательства занимали до трёх дней, и значительная часть времени уходила не на поиск решения, а на подготовку задачи так, чтобы проверяющий мог с ней работать. С текстами всё ещё сложнее: цифру можно сверить с отчётом, а вот вывод требует чтения контекста и оценки, позволяет ли исследование сделать именно такое заключение.
• Стратегия вообще непроверяема заранее. Можно пересчитать бюджет и изучить рынок, но узнать, сработает ли запуск, до самого запуска нельзя.
• Данные не спасают от плохих данных. Расчёт можно воспроизвести, сохранив исходные данные и формулы. Но если магазин неверно учитывал возвраты, повторный запуск даст ту же ошибку.

Проверка полезнее, когда она опирается на фактчекера другого типа: для кода это компилятор и тесты, для статьи это первоисточник. : Из материала, на который опирается эта публикация

Что с этого прямо сейчас, по ролям?

Автору Дзена. Не отдавайте нейросети финальное слово. Если черновик содержит цифры, названия или причинные связи, откройте источник и сверьте каждое утверждение вручную. Проверка текста на нейросеть через перекрёстную схему (одна модель пишет, другая проверяет) ловит только часть ошибок. Самый коварный тип ошибки, когда факты верны, а человека или связи между ними не существует, такая схема пропустит.

Маркетологу. Если вы заказываете тексты, закладывайте в бюджет фактчек как отдельную строку. ИИ снизил стоимость черновика, но стоимость верификации осталась прежней, а при более «убедительных» промптах даже выросла. Экономия на проверке превращается в репутационный риск.

Предпринимателю в РФ и СНГ. Российские модели (YandexGPT, GigaChat) подвержены тем же эффектам: галлюцинации (когда ИИ уверенно выдумывает то, чего не было) и ложные причинные связи не зависят от языка. Универсального сервиса проверки текста на нейросеть с гарантией для русскоязычного контента пока нет. Надёжный способ один: первоисточник плюс человек, который умеет его читать.

Главный парадокс ИИ-контента в 2025 году: производство текста стало почти бесплатным, а единственное, что по-прежнему стоит дорого, это основание ему верить. Пока автоматические «оракулы» существуют только для кода и математики, для текстов таким оракулом остаётся автор с открытым первоисточником. Кто инвестирует в навык проверки сейчас, тот и будет стоить дорого завтра.