LLM проваливают тест Тьюринга на третьем сообщении: кейс из дейтинга

Автор оригинального разбора ведёт микробизнес по аутстаффингу в дейтинге: вручную ведёт аккаунты клиентов, ведёт за них переписки и конвертирует совпадения в реальные свидания. За годы работы она не получила ни одной жалобы на «подмену» собеседника, а вот при попытках делегировать ту же задачу языковым моделям результат, по её словам, разваливается на третьем сообщении. На фоне волны Reddit-кейсов «я натравил скрипт на Tinder и нашёл жену» этот взгляд из окопа даёт редкий практический контраст.

Где именно LLM проваливают «тест Тьюринга» в живом диалоге?

Автор выделяет три конкретных точки отказа. Каждая бьёт не по интеллекту модели, а по её социальной слепоте.

Синдром назойливого стажёра. После калибровки безопасности базовая модель панически избегает резкости. В дейтинге это превращает её в «менеджера по продажам с натянутой улыбкой»: открытые вопросы по скрипту, шаблонные комплименты, натужная псевдоирония. Живой собеседник, по наблюдению автора, считывает синтетику на третьем сообщении, потому что все мы уже натренированы бесконечным ИИ-контентом. Возникает эффект «зловещей долины» (uncanny valley), когда текст формально правильный, но ощущается неживым.

Дейтинг держится на другом: на умении удерживать рамку разговора, вовремя подколоть, развить неочевидную ветку и, главное, вовремя отступить. Автор говорит, что по микроколебаниям текста уже на втором сообщении понимает, когда ловить нечего. Модель не калибрует дистанцию и не чувствует тупиковость беседы.

Галлюцинации (когда модель уверенно выдумывает то, чего не было) и рассинхрон с реальным человеком. Автор перед началом работы проводит глубокое интервью с клиентом: вытаскивает контекст, ритм жизни, культурный багаж, триггеры, специфику юмора. Копирует синтаксис, пунктуацию, даже привычку ставить пробел перед запятой. Когда клиент перехватывает диалог в мессенджере, «шва не видно».

LLM без сложного управления состоянием (state management) начнёт галлюцинировать фактами: «Обожаю этот бар на Покровке!», «Гонял туда на прошлых выходных». Нарисует образ светского льва, который рассыплется в секунду, когда реальный клиент посмотрит в глаза собеседнику на встрече. При этом составить полный реестр всех баров, сериалов и поездок клиента невозможно, а живой оператор по общему профилю человека угадывает правильный ответ, по оценке автора, с вероятностью около 95%.

Контекстная слепота и отсутствие чувства тайминга. Модели переспрашивают то, что человек упомянул тремя экранами выше, и не считывают скрытых интенций. Вопрос «Что ты ищешь в этом приложении?» почти никогда не значит то, что написано буквально. Универсальной формулы «на каком шаге звать на кофе» не существует: иногда конверсия закрывается на пятом сообщении, а иногда нужно 32 итерации бытового пинг-понга, чтобы собеседник снизил тревожность.

Аргументы в пользу LLM: почему оптимисты не сдаются?

Справедливости ради, у противоположной позиции есть основания:

• Модели быстро прогрессируют в удержании контекста. Окно контекста (объём текста, который модель «помнит» за один сеанс) у современных LLM выросло до сотен тысяч токенов (единиц текста, примерно 0,75 слова каждый), что технически позволяет хранить всю историю переписки.
• Дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу) на реальных диалогах конкретного человека способно приблизить стиль к оригиналу.
• Стоимость инференса (вычисления ответа модели) падает, и автоматизация рутинного первичного отклика экономически выгодна.
• Reddit-кейсы существуют: часть пользователей действительно доходит до свиданий, используя скрипты с LLM на первом этапе.

Почему аргументы оптимистов не закрывают проблему?

Ни один из перечисленных аргументов не отвечает на три конкретных провала, описанных автором:

• Длинный контекст не равен пониманию скрытых интенций. Модель «помнит» текст, но не считывает, что за вежливым вопросом стоит проверка или провокация.
• Дообучение копирует лексику, но не учит вовремя молчать, отступать или закрывать бесперспективный диалог. People-pleasing (стремление угождать) зашит в саму архитектуру: модель оптимизирована на полезный ответ, а не на уместное молчание.
• Дешёвый инференс помогает на этапе массовой рассылки, но именно момент перехода от переписки к живой встрече обнажает рассинхрон между цифровым аватаром и реальным человеком. Галлюцинация (hallucination) про бар, в котором клиент никогда не был, обходится дороже любой экономии.

Нейронка с уверенным лицом сгенерирует убедительную ложь, подставив живого человека на встрече. : Автор оригинального разбора, оператор дейтинг-аутстаффа

Что с этого вам прямо сейчас?

Авторам Дзена и копирайтерам. Разбор показывает границу, которую полезно видеть в любой нише: LLM отлично генерируют текст «в среднем», но проваливаются там, где нужна калибровка под конкретного человека и ситуацию. Если вы ведёте экспертный канал и думаете делегировать ответы подписчикам нейросети, помните о синдроме «назойливого стажёра»: шаблонная вежливость считывается быстро и разрушает доверие к автору.

Маркетологам. Кейс напрямую касается чат-ботов в продажах и клиентском сервисе. Бот, который не умеет вовремя замолчать и передать диалог человеку, создаёт тот же эффект зловещей долины. Из доступных в РФ инструментов для гибридной схемы «бот плюс оператор» можно смотреть на решения поверх YandexGPT и GigaChat, но ключевой вывод тот же: полная автоматизация диалога с высокой ставкой (продажа, знакомство, сложная поддержка) пока ломается.

Предпринимателям в РФ и СНГ. Если вы строите продукт вокруг ИИ-коммуникации, закладывайте в архитектуру точку передачи живому оператору. Полностью автономный ИИ-агент (программа, которая сама принимает решения и действует) в задачах с социальной калибровкой, это не вопрос следующего обновления модели, а нерешённая архитектурная проблема.

Прогноз на ближайший год реалистичен и невесел для автоматизаторов: LLM научатся лучше копировать стиль и реже галлюцинировать фактами, но калибровка социальной дистанции, умение вовремя отступить и чутьё на скрытые интенции останутся за пределами того, что решается увеличением контекстного окна или дообучением. Настоящий «тест Тьюринга» для LLM проходит не в чате с экспертом, а в переписке, где один неловкий комплимент стоит реального свидания, и именно там модели пока проигрывают человеку с блокнотом и интуицией.