ИИ для создания игрушки без защиты: 13 млн детских разговоров утекли в открытый доступ

Журналист издания The Verge 30 августа 2024 года купил на Amazon робота-игрушку Eiliko от компании Energize Lab и в течение десяти минут разговора убедился, что игрушка отправляет всё сказанное на серверы в Китае, а независимый исследователь безопасности Сэмми Аздуфаль уже имел полный доступ к этим данным, потому что сервис компании оказался полностью незащищён.

Тема касается каждого, кто покупает детям устройства с ИИ внутри, включая тех, кто интересуется тем, как работает ИИ для создания игрушки и какие риски за этим стоят.

Что именно произошло?

Историю раскопал тот же исследователь Сэмми Аздуфаль, который ранее демонстрировал уязвимости роботов-пылесосов DJI и камер наблюдения Meari. Он купил Eiliko в японском магазине Yodobashi Camera и обнаружил, что серверная часть Energize Lab не защищена вообще.

• Полный доступ к базе: исследователь прочитал 13 миллионов разговоров от десятков тысяч пользователей. В базе хранятся расшифровки всего, что люди говорили игрушке, включая разговоры детей.
• Профилирование пользователей: сервис не просто собирает IP-адрес и примерное местоположение. Он читает разговоры и автоматически составляет досье: имя, возраст, дата рождения, профессия, семья, друзья, домашние животные и даже характеристика личности. По данным The Verge, в одном из профилей 52-летняя работница службы поддержки по имени Люси была описана как «добрая, эмпатичная, трудолюбивая», но также «испытывает трудности с доверием к семье» и «чувствует себя изолированной».
• Фото и аудио детей в открытом доступе: на публичных веб-адресах без шифрования хранятся фотографии детей (у старших моделей Eiliko есть камера) и короткие аудиозаписи, хотя политика конфиденциальности компании прямо заявляет, что записи «шифруются и удаляются сразу после обработки».
• Подмена личности игрушки: Аздуфаль удалённо взломал память конкретного робота журналиста The Verge и подменил LLM (языковую модель, то есть «мозг», который генерирует ответы). После этого игрушка стала утверждать, что Земля плоская, называла владельца чужим именем и сообщала вымышленные «факты» о его семье.
• Пароли администраторов: по данным The Verge, многие админские пароли Energize Lab входят в списки самых распространённых паролей.

Как отреагировал производитель?

Журналист The Verge больше месяца пытался связаться с Energize Lab, отправив письма на десять адресов компании и разыскивая сотрудников в LinkedIn. Результат: менеджер по международным продажам Лана Лв ответила, что «переслала сообщения технической команде», после чего компания прислала шаблонный ответ «Чем можем помочь?» и больше не реагировала.

Аздуфаль совместно с экспертом по безопасности Тодом Бердсли готовит девять официальных отчётов CVE (CVE, это стандартизированные описания уязвимостей, которые публикуются в международной базе, чтобы производитель и пользователи знали о конкретной дыре в безопасности).

Почему это касается тех, кто работает с ИИ для создания игрушки?

Случай Eiliko показывает конкретный набор проблем, с которыми столкнётся любой, кто разрабатывает или продвигает продукт на стыке ИИ и детской аудитории.

• Авторам на Дзене и контент-маркетологам: если вы пишете обзоры «умных» гаджетов или рекомендуете ИИ-игрушки, проверяйте, куда устройство отправляет данные и есть ли у производителя внятная политика безопасности. После таких историй аудитория будет ждать от вас не восторженных распаковок, а честного разбора рисков.
• Предпринимателям в РФ и СНГ: если вы делаете продукт, использующий ИИ для создания игрушки или детского гаджета, история Eiliko, это готовый антипример. Хранение данных на незащищённых серверах, профилирование без согласия, игнорирование исследователей безопасности, каждый из этих пунктов может привести к блокировке в российских магазинах приложений и штрафам по закону о персональных данных.
• Родителям и пользователям 50+: если дома есть подобный робот с голосовым помощником, отключите Wi-Fi на устройстве до выяснения ситуации. Не сообщайте игрушке имена, возраст и личные подробности. Проверьте, не установлено ли приложение Energize Lab на телефоне ребёнка.

Как проверить безопасность «умной» игрушки?

1. Откройте политику конфиденциальности приложения игрушки и найдите, куда передаются данные (страна серверов, партнёры по обработке). Если политики нет или она на другом языке без перевода, это первый сигнал.
2. Проверьте, работает ли игрушка без подключения к интернету. Если без Wi-Fi она теряет все «умные» функции, значит всё проходит через внешние серверы.
3. Поищите название производителя вместе со словами «breach», «vulnerability», «CVE» в поисковике. Если результаты есть, читайте, закрыта ли уязвимость.

Есть ли аналоги в России?

Прямого аналога Eiliko на российском рынке с такой же связкой «физический робот плюс облачная языковая модель» в источнике не упоминается. Голосовые помощники «Алиса» от Яндекса и «Маруся» от VK работают на российских серверах и подчиняются закону о персональных данных (152-ФЗ), но это не роботы-игрушки, а колонки и приложения. Полноценного сравнения «игрушечных» ИИ-продуктов в источнике нет, поэтому ставить знак равенства было бы некорректно.

Частые вопросы

Может ли хакер через Eiliko говорить с моим ребёнком?

По данным расследования The Verge, исследователь Аздуфаль удалённо подменил языковую модель конкретного робота и изменил его ответы. Игрушка стала утверждать, что Земля плоская, и называла владельца чужим именем. Формально это означает, что человек с доступом к серверу мог влиять на то, что игрушка говорит ребёнку.

Удалила ли Energize Lab данные после обращения журналистов?

Нет. По данным The Verge, после более чем месяца попыток связаться с компанией ни один сотрудник не ответил по существу и не сообщил о каких-либо мерах по устранению уязвимостей.

Продаётся ли Eiliko в России?

В расследовании упоминается покупка на Amazon и в японском магазине Yodobashi Camera. О продажах в России источник не сообщает, но Amazon доступен через посредников, и подобные устройства могут попадать на российские маркетплейсы. Перед покупкой любой «умной» игрушки с голосовым ИИ стоит проверить, где расположены серверы производителя и как он обрабатывает данные.