Gemini 3.5 Flash получил управление компьютером: агент видит экран и сам нажимает кнопки

Функцию анонсировала Google. До сих пор управление компьютером было доступно только через отдельную модель Gemini 2.5, заточенную именно под эту задачу. Теперь возможность стала встроенным инструментом Gemini 3.5 Flash, наравне с поиском и картами. Доступ открыт через Gemini API и Gemini Enterprise Agent Platform (корпоративную платформу Google для ИИ-агентов).

Что умеет Gemini 3.5 Flash с управлением компьютером?

• Видит экран. Модель воспринимает содержимое браузера, рабочего стола и мобильного интерфейса так, как это делает человек, глядя на монитор.
• Рассуждает и действует. Gemini 3.5 Flash не просто распознаёт картинку: она понимает контекст и сама выполняет действия, кликает, вводит текст, переключает вкладки.
• Работает на длинных сценариях. Google отдельно указывает на улучшение в задачах, растянутых во времени: непрерывное тестирование программ, обработка документов в профессиональных приложениях.
• Анализирует сама себя. В демонстрации модель проверила документацию Gemini на проблемы с доступностью (accessibility) и составила категоризированный список функций приложения Gemini.

Как Google защищает от ошибок?

Когда ИИ-агент работает в «живой» среде, он может столкнуться с промпт-инъекцией (prompt injection), атакой, при которой вредоносный текст на экране заставляет модель выполнить чужую команду вместо вашей.

Google применяет адресное состязательное обучение (adversarial training): модель тренируют на примерах таких атак, чтобы она их распознавала. Дополнительно компания выпустила две необязательные корпоративные системы защиты:

• Запрос подтверждения у пользователя перед любым чувствительным или необратимым действием.
• Автоматическая остановка задачи, если обнаружена скрытая промпт-инъекция.

Google рекомендует сочетать эти функции с изолированной средой (песочницей), контролем человека на ключевых этапах и строгими правами доступа.

Как попробовать?

1. Откройте демо-среду на платформе Browserbase, где можно протестировать управление компьютером без настройки.
2. Перейдите в документацию Gemini API или Gemini Enterprise Agent Platform за референсной реализацией и примерами кода.

А есть ли что-то подобное в России?

Прямого аналога, где языковая модель встроенно управляет экраном компьютера, в российских сервисах пока нет. YandexGPT и GigaChat от Сбера умеют работать с текстом, генерировать код и отвечать на вопросы, но ни один из них не заявлял о функции «компьютерного зрения» с управлением интерфейсом.

Для российских разработчиков Gemini API доступен с ограничениями: потребуется зарубежный аккаунт Google Cloud и, вероятно, VPN. Если вы автоматизируете тестирование или документооборот, стоит проверить доступ прежде, чем закладывать Gemini 3.5 Flash в продуктовый пайплайн.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Пока функция заточена под разработчиков, а не авторов. Но следите за направлением: если агент научился сам проверять документы на ошибки, скоро появятся инструменты, которые будут вычитывать ваши тексты не по словам, а по тому, как они выглядят на экране читателя.

Маркетологу. Автоматическое тестирование лендингов, проверка вёрстки писем, аудит доступности сайта. Всё это задачи, которые агент на базе Gemini 3.5 Flash уже способен выполнять. Экономия на ручном QA может быть заметной, если у вас десятки страниц.

Предпринимателю в РФ и СНГ. Доступ ограничен, но технология показывает, куда движется рынок. Если ваша команда пишет внутренние скрипты для рутинных задач, заложите в план эксперимент с компьютерным зрением. Не обязательно Google: конкуренты (Anthropic с Claude Computer Use, OpenAI с Operator) развивают то же направление.

Частые вопросы

Gemini 3.5 Flash управляет моим компьютером напрямую?

Нет. Модель работает через API и видит то, что ей передаёт среда исполнения (браузер, эмулятор, песочница). Она не получает доступ к вашему рабочему столу, если вы сами это не настроите. Google рекомендует запускать агентов в изолированной среде.

Можно ли использовать из России?

Gemini API формально доступен не во всех регионах. Для работы из РФ, скорее всего, понадобится аккаунт Google Cloud, зарегистрированный в поддерживаемой стране. Проверьте актуальный список регионов в документации Google перед тем, как начинать разработку.

Чем это отличается от Claude Computer Use у Anthropic?

Обе технологии решают похожую задачу: ИИ-агент видит экран и выполняет действия. Ключевое отличие Gemini 3.5 Flash в том, что управление компьютером встроено в основную модель, а не вынесено в отдельный продукт. Какой подход точнее и надёжнее, покажут независимые тесты, на момент публикации сравнительных бенчмарков нет.