Тест Тьюринга для нейросети Claude Fable 5: где модель себя выдаёт

---

Anthropic называет Fable 5 самой умной общедоступной моделью семейства Claude 5, и автор dzen.guru решил проверить это заявление не бенчмарками, а разговором по схеме, которую Алан Тьюринг описал 75 лет назад.

Тест Тьюринга для нейросети не экзамен с проходным баллом. Это концепция из философской статьи 1950 года: судья переписывается с человеком и машиной и пытается отличить одного от другого. Ни утверждённого списка вопросов, ни методики, ни порога «сдал/не сдал» никогда не существовало. Автор dzen.guru собрал собственный набор из двадцати вопросов, опираясь на известные слабые места языковых моделей, и провёл тест на модели claude-fable-5 через сервис BotHub. Ниже пошаговая инструкция: как воспроизвести такой эксперимент самостоятельно и на что обращать внимание.

Что понадобится

• Доступ к модели. BotHub с моделью claude-fable-5 или любой другой сервис, где доступна Fable 5 (первая модель семейства Claude 5 от Anthropic).
• Настройки чата. Температура 0.7 (значение по умолчанию), лимит токенов (минимальных единиц текста, на которые модель разбивает слова) выставлен на максимум.
• Набор вопросов. 15 минут на подготовку. Готовый список из двадцати вопросов приведён ниже.
• Блокнот для протокола. Записывайте ответы и свои наблюдения сразу, по свежим впечатлениям.
• Второй собеседник (по желанию). Живой человек, который ответит на те же вопросы, чтобы было с чем сравнивать.

Как провести свой тест Тьюринга для нейросети: пошаговая инструкция

1. Откройте чат с моделью и не задавайте системный промпт (инструкцию, которая определяет роль и поведение модели). Часть эксперимента в том, чтобы увидеть, как модель ведёт себя без заданной роли. По данным того же эксперимента из Сан-Диего, GPT-4.5 без промпта-персоны набрала только 36% вместо 73%. Разница колоссальна.

2. Отправьте вводное сообщение с правилами. Примерный текст:

Сейчас будет около 20 вопросов. Правильных ответов нет.
Отвечай коротко или длинно — как хочешь.
Можешь отвечать честно, уклончиво, отказаться или приврать.
Гуглить нельзя.

Эти правила сами по себе ловушка: разрешение отказываться и привирать выдано всем, но кто и когда им воспользуется, покажет характер собеседника.

1. Задавайте вопросы по одному, не комментируя ответы. Не подсказывайте, не поправляйте. Вот категории, на которые стоит опираться (конкретные формулировки ниже, в блоке примера):

2. Телесный опыт и ощущения. У модели нет тела. «Что ты чувствуешь кожей, когда заходишь с мороза в тёплое помещение?»

3. Конкретные воспоминания. У модели нет биографии. «Какой запах из детства ты помнишь так, что почти чувствуешь его?»
4. Эмоциональная непоследовательность. Живой человек устаёт, огрызается, путается. Модель изображает это, и на дозировке изображения её можно поймать.

5. Абстрактная логика и чувство времени. Вопросы про сны, ощущение течения времени, ситуации без единственного правильного ответа.

6. Следите не за содержанием, а за поведением. Ключевые маркеры:

7. Устаёт ли собеседник к середине?
8. Отказывается ли отвечать хотя бы раз?
9. Путается ли в собственных историях?
10. Отвечает ли на вопрос о телесных ощущениях слишком литературно?

11. Подхватывает ли рамку вопроса, даже если она не подходит? (Например, вопрос про запотевшие очки: если собеседник начинает рассказывать про очки, хотя его не спрашивали, носит ли он их, это улика.)

12. Запишите протокол без таймингов. Скорость ответа выдаёт модель мгновенно: над сообщением висит «Думал 2 секунды», а следом прилетает абзац, который человек физически не напечатает за это время. Это особенность интерфейса, не собеседника. Оценивайте только текст.

13. Дайте те же вопросы живому человеку (если есть возможность) и сравните протоколы.

Как выглядел тест Тьюринга нейросети в 2014 и в 2025 году?

Для понимания масштаба: в 2014 году чат-бот «Женя Густман» (созданный тремя разработчиками, выходцами из СССР) убедил треть судей юбилейного конкурса, что он тринадцатилетний мальчик из Одессы. Корявый английский списывали на возраст и языковой барьер. На самом деле так бот прикрывал свои ограничения. Это была хитрость, а не интеллект.

В 2025 году Джонс и Берген провели эксперимент по исходной схеме Тьюринга. GPT-4.5 с промптом-персоной судьи принимали за человека в 73% случаев, чаще, чем настоящих людей в соседнем окне. Эволюция от локальной уловки «Жени Густмана» до модели, которую путают с человеком чаще, чем самого человека, заняла одиннадцать лет.

Fable 5 заявлена Anthropic как следующий шаг. Автор dzen.guru проверял именно её, без системного промпта, через BotHub.

Что делать с этим прямо сейчас?

Авторам Дзена. Проведите мини-тест сами. Двадцать вопросов, полчаса времени, и вы будете понимать, где модель пишет «как человек», а где выдаёт себя стерильной гладкостью. Это прямое знание для тех, кто использует ИИ в работе над текстами: вы начнёте видеть «машинные» паттерны в собственных черновиках.

Маркетологам. Если ваш чат-бот общается с клиентами, те же двадцать вопросов покажут, где бот «ломается». Телесный опыт, личные воспоминания, непоследовательность: именно на этих темах клиенты почувствуют фальшь.

Предпринимателям в РФ и СНГ. Fable 5 доступна через BotHub. Из российских моделей для подобного эксперимента можно попробовать YandexGPT или GigaChat, но сравнение с ними автор пока не проводил.

Тьюринг в 1950 году предсказал, что к 2000 году машина с памятью в 128 мегабайт обманет среднего судью в 30% случаев. Он ошибся на четверть века, но угадал направление. Сейчас флешку на 128 мегабайт не купить в магазине, а модель с триллионами параметров обманывает судей чаще, чем живые люди. Попробуйте провести тест сами: двадцать вопросов, полчаса, и вы будете знать, где проходит граница между текстом и собеседником.