Gemini Live получил зрение: камера смартфона описывает мир голосом на русском языке
Google запустила в Gemini Live функцию Guided Vision, которая через камеру смартфона описывает голосом всё, что видит, и теперь работает на русском языке для Android-устройств в странах, где доступен Gemini Live.
Guided Vision превращает смартфон в голосового помощника по зрению: камера показывает, Gemini Live описывает и подсказывает, как навести фокус. Функция рассчитана на людей с нарушениями зрения, но полезна любому, кто пытается разобрать мелкий текст на упаковке или найти предмет в тёмной комнате.
Google разработала Guided Vision совместно с сообществом людей с ограниченными возможностями зрения. Партнёром выступила компания Aira, специализирующаяся на визуальной помощи незрячим. По данным Google, для обучения модели использовали десятки тысяч часов визуальных данных, а больше тысячи участников тестовой сети Aira проверяли функцию в повседневных сценариях. Специалисты Aira также помогали выстраивать ограничения безопасности.
Что понадобится
- Смартфон на Android 9 или новее
- Приложение Gemini, обновлённое до последней версии
- Обновлённая версия системы Android
- Регион и язык, где поддерживается Gemini Live (Россия входит в число поддерживаемых регионов для Gemini Live)
- Рабочая камера на устройстве
- 5 минут на настройку
Как включить Guided Vision: пошаговая инструкция
Есть три способа запустить функцию. Выбирайте тот, который удобнее.
Способ 1: через приложение Gemini
- Откройте приложение Gemini на Android
- Перейдите в настройки профиля
- Включите переключатель «Use Guided Vision in Live»
- Запустите режим Gemini Live
- Нажмите кнопку «Поделиться камерой»
Способ 2: через настройки специальных возможностей Android
- Откройте «Настройки» на смартфоне
- Перейдите в раздел «Специальные возможности» (Accessibility)
- Выберите «Помощь для зрения» (Vision assistance)
- Найдите пункт Guided Vision
- Настройте быстрый запуск: плавающая кнопка, свайп двумя пальцами или одновременное нажатие обеих клавиш громкости
Способ 3: через TalkBack
- Убедитесь, что TalkBack (экранный диктор Google) включён
- Коснитесь экрана тремя пальцами, чтобы открыть меню TalkBack
- Выберите пункт Guided Vision
Что умеет Guided Vision на практике?
Функция работает как разговорный партнёр: вы направляете камеру, Gemini Live описывает увиденное голосом и сам подсказывает, как скорректировать ракурс. Если камера смотрит слишком высоко, близко или в сторону, модель попросит наклонить телефон, сдвинуть его правее или отойти на шаг.
Вот конкретные сценарии, которые Google выделяет отдельно:
- Чтение мелкого текста. Этикетки с составом на продуктах, режимы стиральной машины, меню в ресторане с плохим освещением
- Поиск предметов. Найти упавший наушник на полу или чёрный перец в забитом шкафчике со специями
- Описание вещей и подбор одежды. Спросить, подходит ли полосатая рубашка к брюкам, или узнать цвет куртки
- Обзор незнакомого пространства. Получить описание планировки комнаты, расположения предметов на столе или общей обстановки
Gemini Live ведёт диалог на нескольких языках. Google указывает, что функцию тестировали с незрячими пользователями из Индии, Бразилии, Сингапура, Индонезии, Японии и других стран, чтобы подсказки звучали естественно.
Функция адресована не только людям с нарушениями зрения. Google прямо называет пожилых людей, людей с низким уровнем грамотности и всех, кому приходится разбирать мелкий шрифт при слабом освещении.
Вы стоите в магазине и держите банку консервов. Запускаете Gemini Live с включённой Guided Vision, направляете камеру на этикетку. Gemini Live говорит: «Я вижу этикетку, но текст слишком мелкий. Отведите телефон чуть дальше». Вы отодвигаете телефон. Gemini Live зачитывает состав продукта и срок годности. Вы спрашиваете: «Есть ли тут глютен?» Gemini Live отвечает на основе прочитанного текста на упаковке.
- Путать Guided Vision с навигатором. Google прямо предупреждает: функция не заменяет белую трость, не определяет препятствия и не предназначена для навигации или безопасного перемещения. Это ассистент для чтения и описания, не средство ориентации на улице
- Забыть обновить приложение и систему. Guided Vision требует последних версий и приложения Gemini, и самой Android. Если функция не появилась в настройках, проверьте обновления
- Ожидать медицинской точности. Как любая генеративная модель, Guided Vision может допускать галлюцинации (когда ИИ уверенно описывает то, чего на самом деле нет). Не используйте функцию для чтения рецептов лекарств, если нет возможности перепроверить
- Не корректировать ракурс. Модель подсказывает, как навести камеру, но если игнорировать её указания, описания будут неточными
Что с этого вам прямо сейчас?
Авторам Дзена и контент-мейкерам. Если в аудитории есть люди 50+ с проблемами зрения, Guided Vision в Gemini Live становится темой для полезного контента: обзор, инструкция по настройке, сравнение со встроенным экранным диктором. Тема слабо раскрыта на русском языке, пространство для первых публикаций открыто.
Пожилым пользователям и их близким. Функция решает конкретную бытовую задачу: прочитать мелкий текст, найти предмет, разобраться с незнакомой техникой. Если у вас есть родственники с ослабленным зрением и Android-смартфоном, настройка займёт пять минут по инструкции выше.
Пользователям в России и СНГ. Gemini Live работает на русском языке. Однако доступность конкретно Guided Vision зависит от региона поддержки Gemini Live. Если функция не появилась в настройках, это может означать, что Google пока не включила ваш регион. Из российских аналогов голосового описания через камеру ближайшие по смыслу функции есть в «Яндекс Разговоре» и приложении «Seeing AI» от Microsoft, но полного аналога диалогового режима Gemini Live с коррекцией ракурса на русском языке пока нет.
Google сделала сильный ход, выпустив Guided Vision не как отдельное приложение, а как слой внутри Gemini Live. Это означает, что функция будет развиваться вместе с основной моделью и получать улучшения без отдельных обновлений. По моим наблюдениям, главная проблема подобных инструментов не в качестве распознавания, а в том, что о них просто не знают те, кому они нужны больше всего. Если вы ведёте канал для аудитории 50+, расскажите об этом: пять минут настройки могут реально изменить повседневную жизнь человека с плохим зрением. Честная оговорка: пока Guided Vision не работает без интернета, а качество описаний зависит от освещения и стабильности камеры.
Пишете для аудитории 50+?
В dzen.guru мы собираем инструменты и шаблоны для авторов, которые работают с возрастной аудиторией. Попробуйте наши гайды по созданию полезного контента.
Посмотреть гайдыGuided Vision доступна сейчас на всех Android-устройствах с версии 9 и выше, где поддерживается Gemini Live. Обновите приложение, включите функцию по инструкции и попробуйте навести камеру на ближайшую этикетку: именно так проще всего понять, подходит ли это вам или вашим близким.
Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также
Кодинговые агенты ищут код инструментами 1973 года: как это знание ускоряет промпты
Кодинговые агенты (ИИ-агенты, которые пишут и редактируют код по текстовому запросу) вроде Claude Code, Codex или Cursor начинают работу не с написания кода, а…
Доверие к искусственному интеллекту остаётся на словах: деньги уходят в B2B, а не к людям
Новый выпуск подкаста TechCrunch Equity зафиксировал парадокс: крупнейшие технологические компании подписывают обязательства по безопасности ИИ, а основные…
Amazon предупреждает: более 100 мораториев на дата-центры угрожают лидерству США в ИИ
Amazon Web Services (облачное подразделение Amazon, крупнейший в мире оператор облачной инфраструктуры) второго июня опубликовало программный пост на три…
Комментарии