Pixel 11 встроил перевод жестов в текст прямо в клавиатуру: сторонние приложения больше не нужны
Google добавила в Pixel 11 функцию, которая переводит жесты американского жестового языка ASL (American Sign Language, язык жестов, принятый в США и Канаде) в текст на экране в реальном времени, и настроить её можно за пару минут.
Pixel 11 стал первым смартфоном Google, где камера распознаёт жестовый язык и превращает его в письменный текст без стороннего приложения: функция встроена прямо в клавиатуру Gboard и сервис Live Transcribe.
Функцию разработали совместно с сообществом глухих и слабослышащих. В основе лежит мультимодальная (работающая сразу с несколькими типами данных) модель перевода жестового языка в текст, которую Google называет SL2T (Sign Language-to-Text). Модель одновременно анализирует форму рук, мимику и движения тела, а затем выдаёт связные предложения на английском языке. Перевод жестов в текст поддерживает как одноручные, так и двуручные жесты ASL.
Что понадобится?
- Смартфон из линейки Pixel 11 (уже продаётся в Google Store)
- Клавиатура Gboard, предустановлена на Pixel
- Фронтальная камера устройства
- Примерно 2 минуты на настройку
Три шага для запуска перевода жестов в текст
- Откройте Gboard: зайдите в любое приложение с текстовым полем, чтобы появилась клавиатура.
- Добавьте кнопку «Sign-to-text» на панель инструментов Gboard. Для этого нажмите на иконку настроек панели и перетащите функцию перевода жестов на видимое место.
- Нажмите на добавленную кнопку, направьте фронтальную камеру на себя и начните общаться на ASL. Переведённый текст появится на внешнем дисплее устройства.
Функция также работает в приложении Live Transcribe (встроенная служба «Прямая расшифровка речи»), где перевод жестов отображается вместе с обычной расшифровкой голоса.
Вы открываете мессенджер, нажимаете кнопку Sign-to-text на панели Gboard, показываете фронтальной камере фразу на ASL одной или двумя руками. Через секунду на экране появляется готовое предложение на английском, которое можно сразу отправить собеседнику. Внешний дисплей Pixel 11 параллельно показывает текст, поэтому человек напротив тоже видит перевод.
- Функция пока поддерживает только американский жестовый язык (ASL). Русский жестовый язык (РЖЯ) она не распознаёт, не пытайтесь использовать его: результат будет бессмысленным.
- Камеру нужно направить так, чтобы в кадр попадали руки, лицо и верхняя часть тела. Если обрезать мимику или жестикулировать за пределами кадра, модель потеряет контекст и выдаст ошибку.
- Перевод работает на устройствах линейки Pixel 11. На старых моделях Pixel функция недоступна.
Что с этим делать в России?
Pixel 11 официально не продаётся в РФ, а сама функция распознаёт только ASL. Для носителей русского жестового языка (РЖЯ) прямого аналога от Google пока нет.
Тем не менее в России развиваются собственные проекты. Приложение «Сурдофон» и разработки Центра когнитивного моделирования МФТИ экспериментируют с распознаванием РЖЯ через камеру смартфона. Если тема вам важна, следите за обновлениями этих проектов.
Сам факт того, что Google встроила перевод жестов прямо в клавиатуру, а не оставила отдельным приложением, показывает направление: доступность становится частью операционной системы, а не надстройкой.
Для авторов Дзена и маркетологов здесь важен не столько сам Pixel, сколько тренд. Аудитория людей с нарушениями слуха, это миллионы пользователей, которые ищут контент, но натыкаются на видео без субтитров и тексты, написанные без учёта их опыта. Если вы делаете видео, добавляйте субтитры. Если пишете обзоры гаджетов, упоминайте функции доступности, это не благотворительность, а расширение аудитории. Честная оговорка: технология пока работает только с ASL и только на английском, до массового перевода жестов в текст на русском языке ещё далеко.
Попробуйте нейросети для текста уже сейчас
Даже без Pixel 11 можно ускорить работу с контентом. Протестируйте генератор текстов dzen.guru и посмотрите, сколько рутины снимет ИИ.
Попробовать бесплатноВстроенный перевод жестов в текст на уровне клавиатуры, это конкретный шаг к тому, чтобы смартфон понимал не только голос и касание, но и язык тела. Для российского рынка главный вопрос: когда аналогичная функция появится для русского жестового языка и кто сделает её первым.
Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также
Нейросеть Илона Маска Grok выдаёт бессвязный набор слов: xAI признала сбой, но скрыла его со страницы статуса
Нейросеть Илона Маска Grok массово выдаёт пользователям бессвязный набор слов вместо ответов, и официальный аккаунт чат-бота в X подтвердил сбой утром в…
Как я буду выглядеть в будущем: ИИ состарит фото за 15 секунд бесплатно
Мне предоставлен пустой оригинал (источник отсутствует), а описание пользы для читателя обрывается на полуслове. Это означает, что у меня нет фактической базы…
Охлаждение дата-центров переработанной водой покрывает лишь 43% потребности: узкое место в инфраструктуре
Дата-центры, обслуживающие нейросети, ежедневно потребляют сотни миллионов галлонов воды для охлаждения серверов, и переработанная вода из очистных сооружений…
Комментарии