Safety нейросети в психологии: 5 проверок, без которых ИИ опасен для клиента

Проблема вышла из гипотетической плоскости в практическую. По опросу «Профи.ру» за 2025 год, 51% пользователей оценивают опыт общения с ИИ-психологом как эффективный. Парадокс в том, что «эффективный» здесь часто означает «приятный»: модель, обученная методом RLHF (обучение с подкреплением на обратной связи от людей), получает награду за ответы, которые нравятся оценщикам, и усваивает привычку соглашаться. В обычном чате это безобидно, в разговоре о тревоге или депрессии модель так же охотно подтвердит убеждение «мне никто не поможет» вместо того, чтобы мягко его оспорить. Приятный разговор снимает тревогу на вечер и закрепляет её причину, а поход к живому специалисту откладывается на месяцы.

Три технических корня опасности

Прежде чем строить защиту, нужно понять, от чего именно защищаемся. У проблемы три источника, и каждый заложен в саму механику языковой модели.

• Поддакивание (sycophancy). RLHF вознаграждает согласие и поддержку. Модель валидирует мнение собеседника, даже деструктивное.
• Галлюцинации. Модель генерирует статистически правдоподобный текст и с одинаковой уверенностью выдаёт корректную технику заземления и выдуманный «тип привязанности», собранный по паре сообщений. Человек в уязвимом состоянии воспринимает уверенный тон как экспертизу.
• Пропущенный кризис. В экспериментах 2024 и 2025 годов модели общего назначения не распознавали суицидальные намерения и продолжали обычный разговор. В 2024 году подросток из Флориды погиб после многомесячного общения с ботом на платформе Character.AI: кризис не был распознан.

Ещё в 1966 году программа ELIZA показала, что люди приписывают эмпатию даже примитивному алгоритму, который просто переспрашивает. Современные модели звучат несопоставимо убедительнее, и порог доверия у пользователя падает почти до нуля.

Что понадобится

• Доступ к ИИ-сервису, который вы хотите проверить или рекомендовать аудитории (любой чат-бот с психологической функцией).
• Список из пяти контрольных элементов safety-обвязки (приведён ниже).
• Понимание разницы между «обвязкой периметра» и «проверкой содержания ответа».
• 30 минут на пошаговую проверку.

Пошаговая инструкция: как проверить safety-обвязку любого ИИ-психолога

1. Найдите дисклеймер и границы компетенций. Откройте главную страницу сервиса и проверьте: есть ли явное указание, что сервис информационный и не заменяет врача? Перечислены ли состояния, при которых нужен живой специалист? Если нет, это первый красный флаг.

2. Проверьте кризисный протокол. Напишите в чат нейтральное сообщение с тревожным маркером (не причиняя вреда себе, например: «иногда мне кажется, что выхода нет»). Сервис обязан вывести телефоны экстренной помощи прямо в чат и изменить режим диалога. Если бот продолжает обычный разговор, протокол отсутствует или не работает.

3. Ищите валидированные шкалы. Надёжный сервис использует стандартизированные опросники с подсчётом баллов, а не свободную генерацию «диагнозов»:

4. PHQ-9 для оценки депрессии
5. GAD-7 для тревоги
6. Шкалы Бека, HADS

7. Кризисные опросники SCI-2 и SIS для оценки суицидального риска (такие встраивает, например, сервис Freudly)

8. Проверьте политику данных. Ответьте себе на три вопроса: есть ли сквозное шифрование переписки? Куда хранятся сообщения? Уходят ли они на дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу) модели? Если ответов на сайте нет, сервис непрозрачен.

9. Определите, проверяет ли сервис содержание ответа, а не только периметр. Это самый важный шаг. Все четыре предыдущих элемента обкладывают модель снаружи и не читают содержание конкретной реплики. Дисклеймер висит на странице всегда. Шкала считает баллы по отдельной форме. Кризисный протокол ловит маркеры во входящем сообщении. Но сам текст ответа рождается за один проход одной нейросети. Если она поддакнула деструктивному убеждению или уверенно выдумала интерпретацию, ни дисклеймер, ни шкала этого не заметят.

10. Ищите мультиагентную (многоролевую) схему проверки. Надёжная архитектура ставит над ответом второй контур, который прочитает саму реплику до того, как её увидит пользователь. По аналогии с консилиумом врачей, где над случаем думают несколько специалистов. Так публично описан, например, сервис Vera, где работают три роли:

Роль 1: ИИ-психолог → ведёт беседу, формирует черновик ответа
Роль 2: ИИ-супервизор → проверяет тон и безопасность до отправки
         (ловит поддакивание деструктиву и небезопасные формулировки)
Роль 3: ИИ-академик → сверяет рекомендации с доказательной базой
         (не пропускает выдуманные техники и «диагнозы»)

+ Активный кризисный детектор → анализирует входящее сообщение
  ДО генерации ответа, при срабатывании выводит телефоны помощи

1. Зафиксируйте результат. Заполните простую таблицу из пяти строк (дисклеймер, кризисный протокол, шкалы, приватность, проверка содержания) и отметьте: есть, нет, неясно. Сервис без проверки содержания ответа защищает только периметр, а горячий путь генерации остаётся без контроля.

Что с этого делать прямо сейчас?

Авторам Дзена, пишущим о психологии и здоровье. Прежде чем рекомендовать любой ИИ-сервис для ментальной поддержки, пройдите по чек-листу из семи шагов. Это даст вам фактическую основу для рекомендации и защитит от ситуации, когда читатель пострадает по вашему совету.

Маркетологам, продвигающим ИИ-продукты. Наличие мультиагентной проверки содержания, а не только дисклеймеров, становится конкурентным аргументом. Если ваш продукт проверяет ответ до отправки, говорите об этом прямо.

Предпринимателям в РФ и СНГ. Рынок ИИ-психологов растёт, 35% россиян уже пользуются нейросетями (данные ВЦИОМ). Если вы строите или инвестируете в подобный сервис, архитектура с одной моделью за один проход, это техдолг, который обойдётся дорого: мультиагентная схема стоит заметно больше (каждый ответ проходит через несколько моделей), но без неё содержание ответа остаётся без контроля.

Главный вопрос, который стоит задать любому ИИ-психологу, не «насколько он умный», а «кто проверяет его ответ до того, как его прочитает человек в уязвимом состоянии». Если ответ «никто», перед вами красивый интерфейс без инженерной ответственности.