ИИ агенты управляют Chrome через accessibility API

До сих пор подключить агента к Chrome можно было тремя путями, и каждый упирался в стену. Playwright и Selenium запускают чистый профиль: ни одной сессии, сразу логин и капча. Режим удалённой отладки (remote debugging) требует перезапуска браузера с флагом и ломает обычную работу. Вендорские расширения Anthropic и OpenAI решают задачу, но только внутри своей экосистемы и за подписку.

Автор проекта «Chrome Bridge» Иван Сиропкин предложил другой путь: расширение для Chrome плюс CLI (интерфейс командной строки) на Node.js без единой внешней зависимости. Код открыт под лицензией MIT, данные не покидают машину. Проект опубликован на GitHub и доступен в Chrome Web Store.

Как работает мост между агентом и браузером?

Архитектура минимальна: расширение (один файл background.js) соединяется по WebSocket с локальным Node-сервером, а тот отдаёт команды через CLI. Облака нет, аккаунтов нет.

Ключевая идея: вместо скриншотов агент получает дерево доступности (accessibility tree), компактное текстовое описание всех элементов страницы со ссылками вида @eN. Это и есть то, как мультимодальность влияет на развитие ИИ-агентов на практике: вместо «разглядывания» картинки модель читает структуру и кликает по конкретному элементу.

Замер автора на реальной странице: дерево доступности занимает 2,4 КБ, скриншот той же страницы, 16 КБ. Экономия контекстного окна на порядок при каждом шаге.

CLI работает из обычного терминала, поэтому подключается любой агент, умеющий запускать shell-команды: Claude Code, Cursor, Codex, а также открытые модели (GLM, Kimi, Qwen, DeepSeek и локальные).

Что понадобится

• Chrome (обычный, с вашими залогиненными сессиями)
• Node.js (версия 18 и выше)
• Расширение Chrome Bridge из Chrome Web Store или из репозитория на GitHub
• Терминал и любой ИИ-агент, умеющий вызывать shell-команды
• Время на настройку: 5 минут до первой команды

Пошаговая инструкция

1. Установите расширение. Откройте Chrome Web Store, найдите «Chrome Bridge» или перейдите по прямой ссылке из репозитория. Нажмите «Установить». Расширение запросит разрешения <all_urls> и debugger, это необходимо для доступа к дереву страниц и доверенных кликов.

2. Клонируйте репозиторий и запустите сервер.

git clone https://github.com/siropkin/chrome-bridge.git
cd chrome-bridge
node server.mjs

Сервер стартует на 127.0.0.1, принимает только локальные подключения.

1. Сделайте первый снимок страницы (получите дерево доступности вместо скриншота).

node cli.mjs snap habr.com

В ответ придёт текстовое дерево, где каждый элемент помечен ссылкой @eN:

table "Hacker News new | past | comments | ask | show | jobs | submit" @e1
  link "Hacker News" @e5
  link "new" @e6
  link "submit" @e12
  link "login" @e13

1. Выполните действие: клик, ввод текста или скриншот.

node cli.mjs click habr.com @e14
node cli.mjs fill habr.com @e12 "поисковый запрос"
node cli.mjs shot habr.com out.png --max 800

Команда fill вводит текст в поле, shot делает скриншот, когда визуальный контекст всё же нужен.

1. Включите режим доверенных событий, если приложение игнорирует синтетические клики.

node cli.mjs click habr.com @e14 --trusted

Флаг --trusted отправляет клик через DevTools Input с меткой isTrusted=true. Страница при этом видит подключённый отладчик, никакого скрытного режима в проекте намеренно нет.

1. Передайте CLI вашему агенту. В настройках Claude Code, Cursor или другого агента укажите, что он может вызывать node cli.mjs как shell-команду. Агент будет делать snap, читать дерево, решать, куда кликнуть, и вызывать click или fill.

2. Используйте журнал и реплей. Сервер ведёт кольцевой журнал всех команд со статусами ok/fail.

node cli.mjs history --batch out

Команда экспортирует журнал как скрипт: упавшие строки закомментированы с текстом ошибки, секретные значения (ввод текста, пароли) вырезаны. Реплей не идемпотентен (повторный клик сделается ещё раз), хвост скрипта правится вручную.

Что агент получает после каждого действия?

После выполнения команды агент получает не тишину, а один из четырёх вердиктов:

• succeeded: действие выполнено
• needs_human: стена логина или капча, нужен человек
• blocked: сработал лимит запросов
• uncertain: событие ушло, но ничего визуально не изменилось, стоит проверить иначе (например, скриншотом)

Что это даёт автору Дзена, маркетологу и предпринимателю?

Автору Дзена. Агент может открыть вашу залогиненную панель Дзена, проверить статистику, собрать заголовки конкурентов из поисковой выдачи, заполнить черновик, и всё это без ручного копирования между вкладками. Дерево доступности экономит токены: один шаг стоит в разы меньше, чем при работе через скриншоты.

Маркетологу. Рутинные сценарии вроде проверки рекламных кабинетов, сбора данных из CRM или мониторинга цен автоматизируются через один CLI. Не нужно покупать подписку на вендорский агент и не нужно передавать логины в облако.

Предпринимателю в РФ и СНГ. Проект не зависит от API закрытых моделей: работает с любым агентом, включая локальные модели на своём железе. Это практическая альтернатива решениям Claude и OpenAI для тех, кому важно держать данные внутри контура. Код открыт, можно провести аудит перед использованием.

Кнопка «⏏» в расширении возвращает контроль над браузером одним нажатием, и это, пожалуй, самая важная деталь: автоматизация, из которой можно выйти за секунду, единственная автоматизация, которой стоит доверять.