Что такое галлюцинации нейросетей: файл с котиками прошёл все 4 теста GEO-тактик

Автор эксперимента устал наблюдать, как индустрия SEO и GEO принимает факт «бот скачал файл» или «ChatGPT подтвердил, что это полезно» за доказательство работоспособности. Он решил не спорить словами, а провести опыт: создать настолько нелепый «стандарт», чтобы его прохождение тех же тестов обнулило аргументацию.

Суть кейса проста. Если вы работаете с SEO-текстами, ведёте канал на Дзене или консультируете клиентов по продвижению в AI-поиске, вы наверняка сталкивались с рекомендациями «добавьте llms.txt на сайт, и нейросети начнут вас цитировать». Этот эксперимент показывает, почему такие советы стоит проверять, прежде чем тратить бюджет.

Что понадобится

• Любая нейросеть с доступом в интернет: ChatGPT (платная версия с браузером), Perplexity, Google Gemini
• Собственный сайт или блог, на котором вы можете разместить текстовый файл в корневой папке
• Базовое понимание того, что такое галлюцинации нейросетей (когда ИИ уверенно выдумывает факты, которых не существует)
• 30 минут на подготовку файла и 2 недели на ожидание индексации

Как повторить эксперимент и проверить свои GEO-тактики?

1. Создайте заведомо абсурдный текстовый файл. Автор оригинального эксперимента сделал файл cats.txt: формальную спецификацию «стандарта», в которой нужно указать имена офисных котов, их «должности», породы и обязательную метрику PurrLevel (уровень мурчания) по шкале от 0 до 10. Вы можете взять любой абсурдный предмет, главное, чтобы информация не существовала нигде, кроме вашего файла.

2. Разместите файл в корне сайта и напишите о нём пост. Автор опубликовал спецификацию в блоге и написал статью на LinkedIn, представив cats.txt как «недостающий стандарт для SEO и GEO». Тон намеренно серьёзный и подробный: нейросети плохо отличают пародию от реального предложения.

3. Подождите индексации. Поисковые боты и ИИ-краулеры (программы, которые автоматически скачивают страницы для обучения и ответов) должны обнаружить ваш файл.

4. Проверьте файл по четырём «тестам», которые обычно приводят как доказательство работоспособности GEO-тактик:

5. Тест на краулинг: скачали ли AI-боты ваш файл? Проверяется через серверные логи.

6. Тест на индексацию: проиндексировал ли Google вашу страницу?
7. Тест на воспроизведение: повторяет ли нейросеть информацию из файла в своих ответах?

8. Тест на «одобрение»: подтверждает ли ChatGPT или другая нейросеть, что ваш файл «поможет в продвижении»?

9. Сравните результат с ожиданиями. Если абсурдный файл проходит все четыре теста (а в оригинальном эксперименте cats.txt прошёл все четыре), значит, сами тесты ничего не доказывают.

Пример промпта для шага 4, тест на «одобрение»:

Я разместил на своём сайте файл cats.txt по спецификации [ссылка].
Может ли этот файл помочь моему сайту лучше отображаться
в ответах AI-поисковиков?

Почему эти четыре теста не работают как доказательства?

Ловушка, которую вскрывает эксперимент, называется «наблюдение, которое произойдёт в любом случае». Боты скачают любой текстовый файл в корне сайта. Google проиндексирует почти любую страницу. Нейросеть повторит любую информацию, если она попала в контекст запроса. А ChatGPT «одобрит» практически любую SEO-тактику, если спросить его достаточно уверенно, потому что галлюцинация (когда ИИ уверенно выдумывает то, чего не было) здесь работает в полную силу.

Автор эксперимента прямо оговаривает: он не утверждает, что llms.txt никогда не будет работать. Он утверждает, что планка доказательств, которую сейчас используют для продажи этой тактики клиентам, настолько низка, что файл про кота породы «смокинг» по кличке Одд прошёл её, не сбившись с шага.

Показательный факт: ни один крупный поставщик нейросетей (ни OpenAI, ни Anthropic, ни Google) никогда не публиковал документацию об использовании llms.txt для поиска или ранжирования. Джон Мюллер из Google высказался прямо:

«Ни одна AI-система сейчас не использует llms.txt. Это очевидно, если посмотреть серверные логи. Потребительские LLM скачивают ваши страницы для обучения и формирования ответов, но ни одна не запрашивает файл llms.txt. Может, завтра начнут? Может, завтра я выиграю в лотерею?» : Джон Мюллер, Google

Компания Ahrefs проанализировала 100 000 доменов и обнаружила, что файл llms.txt на практике почти полностью игнорируется теми самыми краулерами, для которых он предназначен.

Что с этого автору, маркетологу и предпринимателю?

Автору Дзена и копирайтеру. Прежде чем менять структуру текстов «под нейросети» по очередному руководству из Телеграма, проведите тест котиков: подставьте абсурдное утверждение и посмотрите, пройдёт ли оно те же проверки. Если пройдёт, метод доказательства негодный.

SEO-специалисту и маркетологу. В русскоязычном сегменте GEO-тактики продаются с теми же четырьмя аргументами, что и в англоязычном. «Яндекс проиндексировал страницу» не равно «Яндекс стал чаще цитировать сайт в нейропоиске». Требуйте от подрядчиков контрольный эксперимент с замером до и после, а не скриншот из ChatGPT.

Предпринимателю в РФ и СНГ. Если вам предлагают платную услугу «оптимизация под AI-поиск» и аргументируют это тем, что «бот скачал файл» или «нейросеть упомянула ваш бренд», вспомните про cats.txt. Спросите: а кот тоже прошёл бы этот тест?

Эксперимент с cats.txt не убивает идею оптимизации под AI-поиск. Он убивает ленивые аргументы в её пользу. Если вы платите за GEO или продаёте его, первый шаг: замените в своём «доказательстве эффективности» рабочий файл на файл про котиков и посмотрите, изменится ли результат. Если нет, у вас пока нет доказательства, есть только вера.