Психотерапевт советует выбросить Amazon Bee Frontier в окно: ИИ переписал сеанс терапии

Колонка My therapist thinks I should chuck the Amazon Bee Frontier out a window вышла в рассылке Optimizer. Это еженедельный разбор гаджетов, которые обещают изменить жизнь. Ведёт рассылку Виктория Сонг, старший обозреватель The Verge. Она тестирует Bee с начала прошлого года и делится выводом из подзаголовка: интеллект не заменяет мудрость.

Что умеет Bee Frontier и чем закончился тест?

Bee Frontier это носимое устройство, то есть гаджет, который всё время при вас и записывает каждый разговор. ИИ (искусственный интеллект) делает транскрипцию, то есть переводит речь в текст, а потом пересказывает услышанное. Поверх записей работает несколько функций:

• List предлагает список дел по итогам разговоров;
• Grow ищет, в чём вы можете стать лучше;
• сводки разбирают содержание, тон и выводы каждой беседы;
• чат-бот отвечает на вопросы о вас и о том, кто что сказал и когда;
• карточки «фактов» о владельце: свайп вправо подтверждает факт, свайп влево отклоняет.

За 19 месяцев устройство научилось отличать голос хозяйки от диалогов в телевизоре. Теперь оно подтягивает данные из календаря и фотогалереи, а ещё предлагает покупки на Amazon по тому, что вы говорили вслух.

Три недели назад Сонг пришлось спрашивать у психотерапевта согласия на запись. Они работают вместе 11 лет. На третьей неделе разговоров о Bee терапевт попросила выбросить устройство в окно.

Какие доводы за постоянную запись?

Довод первый, практический. Сонг признаёт, что в рабочих задачах Bee помогал ей вспоминать тезисы разговоров.

Довод второй, личный. В психотерапию Сонг пришла в том числе для того, чтобы научиться доверять своей памяти. Она выросла в семье иммигрантов, где никто не сходился в одной версии событий, а позже у родителей началась деменция. Тогда ей хотелось иметь «запись, которую можно пересмотреть», чтобы сверяться с реальностью.

Довод третий, технический. Распознавание заметно подтянулось: после просмотра сериала True Detective устройство уже не решило, будто Сонг сама ловит серийного убийцу вместе с героями.

Почему записи Bee спорят с памятью хозяйки?

Как и любой ИИ, Bee путает, кто что сказал. За три недели он «выяснил», что Сонг часто ссорится с супругом коллеги, которого она ни разу не видела. А ещё что она подозревает у родственника недиагностированное биполярное расстройство, хотя такого никто не произносил.

Шутки устройство принимает всерьёз. Двух кошек, Пити и Пабло, дома зовут разными прозвищами, поэтому Bee насчитал ещё шесть питомцев. Среди них Mr. Handsome, Potato Demon и Tubby McTubberson Jones.

Смешные ошибки и тяжёлая ошибка устроены одинаково. Это галлюцинация, когда ИИ уверенно достраивает то, чего не было. На втором записанном сеансе Сонг обсуждала фильм You Can See Everything и забыла выключить Bee. По её словам, такие устройства спроектированы так, чтобы вы забывали о записи.

После того сеанса Bee сформулировал «факт» о домашнем насилии, которое Сонг пережила в детстве. Сводка называлась «Вернуть реальность у манипулятивной силы» и описывала Сонг как глубоко встревоженного человека, а её состояние как горе и гнев. Сама она помнит этот сеанс как облегчение, со смехом и шутками, и ушла с него с лёгкостью.

Ещё раз Сонг забыла выключить Bee на ежегодном медосмотре: устройство лежало в куче одежды, пока она переодевалась в халат.

Теперь, когда технологические компании начали превращать эту фантазию в реальность, я постоянно чувствую себя жертвой газлайтинга. : Виктория Сонг, старший обозреватель The Verge

Газлайтинг здесь значит манипуляцию, при которой человек начинает сомневаться в собственной памяти. Сонг признаётся, что спустя недели смотрит на сводку и не знает, кто прав: она или ИИ.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Расшифровка интервью и созвонов через ИИ экономит часы, но пересказ сверяйте с исходником. Особенно цитаты и оценки тона: именно в них Bee ошибался чаще всего.

Маркетологу. Подсказки покупок по произнесённым вслух словам означают, что разговор становится рекламным сигналом. Учитывайте это, когда обещаете клиенту конфиденциальность встреч.

Предпринимателю в РФ и СНГ. Прежде чем включать запись, спрашивайте согласия, как это сделала Сонг. Для расшифровки и пересказа текста из доступных в России сервисов подойдут YandexGPT и GigaChat, только не загружайте туда медицинские и личные разговоры.

Дальше спор, скорее всего, уйдёт от точности распознавания к праву человека не соглашаться с машиной о собственном прошлом. Распознавание будет улучшаться, как улучшилось у Bee за 19 месяцев, а уверенность ИИ в выводах никуда не денется. Выигрывать будут те, кто держит в руках выключатель, а не те, кто доверил устройству свою память.