ИИ сочиняет факты, решатель проверяет рассуждение: каждый вывод получает метку

Языковая модель, то есть программа, которая подбирает следующее слово по вероятности, хорошо рассуждает по аналогии. Когда подходящих аналогий нет, она строит ложные, и так появляются галлюцинации: ИИ уверенно выдумывает то, чего не было. Автор разбора предлагает работать в паре, где модель предлагает, а символьный решатель проверяет.

Символьный решатель работает по детерминированному алгоритму, то есть на одинаковых данных всегда даёт одинаковый результат. Опирается он на аппарат формальной логики, который, по словам автора, разрабатывали несколько десятков лет. «Символьный» значит, что он работает с символами, как школьные формулы, а не с наборами чисел, которыми оперирует нейросеть.

Название Ankyra вынесено в заголовок, но в переданном фрагменте разбора нет ни даты выхода, ни цены, ни ссылки на готовый инструмент. Поэтому речь о методе, а не о сервисе, который можно открыть в браузере.

Что нового в подходе?

• Модель играет две роли. Сначала она разбирает текст на факты, связи и правила вида «если, то», а затем дополняет эту «теорию» новыми фактами из своих знаний.
• Решатель выводит следствия. Он получает из имеющихся фактов все возможные выводы по правилам, автор называет это замыканием теории.
• У каждого факта есть происхождение. Факт с цитатой из текста помечается как cited и становится аксиомой, то есть исходным утверждением без доказательства. Выведенный логикой факт помечается как derivable, а предложенный моделью без цитаты становится гипотезой.
• Ответ приходит со статусом. Статус proven означает «доказано из текста», а статус proven_under(H1, H2) означает «верно, если верны гипотезы H1 и H2».

Дождь и машина: как решатель ловит модель на слове

Первый пример автора: «Идёт дождь. Если идёт дождь, земля мокрая. Земля мокрая?» Модель извлекает факт raining() и правило «если идёт дождь, земля мокрая». Оба взяты из текста, поэтому становятся аксиомами.

Решатель выводит факт is_wet(ground), то есть «земля мокрая». Вопрос превращается в проверку, есть ли такой факт в теории, и получает ответ «да» со статусом proven.

Второй пример сложнее: «У машины есть двигатель, четыре колеса, 150 лошадиных сил и четыре двери. Что это за машина?» Модель выписывает пять фактов с цитатами, но в тексте нет ни одного сорта машин. Поэтому ответить пока нельзя.

Тогда модель предлагает правило: если есть двигатель, четыре колеса, 150 лошадиных сил и четыре двери, это машина. Автор называет его правилом хорновского вида: слева условия, связанные союзом «И», справа один вывод. Цитаты для правила нет, поэтому оно получает метку гипотезы H1.

Решатель делает вывод «это машина», но такой ответ ничего не добавляет к условию. Модель предлагает второе правило: всякая машина есть моторное транспортное средство, и оно получает метку H2. Итоговый факт is_a(x, motor_vehicle) приходит со статусом proven_under(H1, H2).

Главное в этом примере не точность модели, а прозрачность: по ответу видно, на каких допущениях он держится.

Как попробовать?

Готового инструмента переданный фрагмент не называет, но логику метода можно воспроизвести вручную в любом чат-боте.

1. Дайте модели текст и попросите выписать отдельно факты и правила «если, то», приложив к каждому цитату из текста.
2. Попросите пометить всё, для чего цитаты нет, как гипотезу с номером.
3. Проверьте сами, следует ли ответ только из фактов с цитатами или опирается на гипотезы.

Из доступных в РФ аналогов эту схему можно прогнать в YandexGPT и GigaChat. Это языковые модели, поэтому роль решателя здесь достаётся вам. Сравнения этих сервисов с нейросимволическим подходом автор разбора не приводит.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы просите ИИ написать сочинение-рассуждение или экспертный разбор, требуйте цитату к каждому факту. Всё, что модель добавила «от себя», перепроверьте до публикации.

Маркетологу. Пометка «из источника или догадка» пригодится в отчётах и аналитике, которые готовит ИИ. Неподтверждённые цифры перестанут попадать в презентацию клиенту.

Предпринимателю РФ и СНГ. Тянуть до появления готового сервиса не нужно. Внедрите правило в регламент: любой вывод ИИ для договоров и расчётов сопровождается ссылкой на исходный документ.

Что спрашивают про нейросимволику чаще всего?

Это отменяет галлюцинации?

Нет. Модель по-прежнему может предложить неверное правило, но оно получит метку гипотезы, и ответ будет помечен как зависящий от неё.

Нужен ли для этого программист?

Для полноценного решателя нужен. Ручную версию с цитатами и метками гипотез может вести любой автор.

С чего начать завтра утром?

Добавьте в свой постоянный промпт одну строку: «к каждому факту приложи цитату, всё без цитаты пометь как гипотезу». Уже первый ответ покажет, сколько в нём было догадок.