UI-фреймворк на Rust отдаёт экран ИИ-агенту в JSON: скриншоты больше не нужны

Автор выложил подробный разбор на русском языке. Он пишет, что теперь, с языковыми моделями, может воплощать смелые идеи, на которые раньше не хватало ресурсов, и что ценность самой идеи выросла. Ui фреймворк здесь означает набор готовых деталей для сборки интерфейса программ: окон, кнопок, списков. Rust при этом выступает языком программирования, на котором написано ядро.

Что нового в uison?

Главная идея в том, что весь интерфейс описан в JSON. Это текстовый формат данных, похожий на аккуратную анкету, которую одинаково легко читают и люди, и программы.

• Два режима показа. Одна и та же программа без правки кода открывает окно для человека, передаёт кадры внешней программе-рендереру или выдаёт описание экрана ИИ-агенту.
• Девять кирпичиков. Нижний слой умеет рисовать только 9 простейших графических элементов. Привычные кнопки, строки и тексты в итоге раскладываются на эти 9 деталей.
• Шесть платформ. Windows (x64 и ARM), macOS, Linux, Android, iOS и iPadOS, а также браузер через WASM (технологию запуска программ прямо в браузере). Есть онлайн-демо на GitHub Pages.
• Примеры на четырёх языках: Rust, C, C++ и даже ассемблер.
• Перерисовка только изменений. Новый кадр сравнивается со старым, и программа обновляет лишь изменившиеся участки. По словам автора, кадр почтового клиента на 2000 писем содержит пару десятков строк.
• Работа на сервере через SSH (защищённое удалённое подключение). Программа пишет кадры текстом, а отдельный плеер показывает их у вас. На сервере не нужны ни графическая оболочка, ни браузер. Плеер можно собрать даже для Android и управлять программой с телефона.
• Режим для агентов. С ключом mcp программа превращается в набор инструментов для Claude Code, Cursor и других ИИ-клиентов. Подключается одной командой, писать код не нужно.

Автор проверил живучесть идеи на нестандартной задаче и собрал на этом же механизме простой браузер. Веб-страница переводится в JSON, а сам uison про устройство веба ничего не знает и рисует её как обычное окно.

Как агент видит экран без скриншотов?

Агент вызывает команду snapshot и получает экран текстом. Дальше он действует командами click (нажать), type (ввести текст) и choose (выбрать).

В примере автора агент вписывает «Milk» в список дел и жмёт Enter. В ответ приходит короткий отчёт: появился пункт «Milk» с кнопкой удаления, счётчик сменился с «1 of 3» на «1 of 4». Агенту не нужно заново разглядывать весь экран, и это экономит его работу.

Как попробовать uison сегодня?

1. Откройте онлайн-демо на GitHub Pages, ссылка есть в публикации автора. Ничего ставить не нужно.
2. Если вы программист, выберите пример на привычном языке: Rust, C или C++.
3. Запустите пример с ключом mcp и подключите его к своему ИИ-клиенту, например Claude Code, одной командой из разбора.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Сам фреймворк вам вряд ли понадобится, но это хороший материал для поста о том, как ИИ-агенты учатся работать с программами. Покажите читателям пример со списком покупок, он понятен без технических знаний.

Маркетологу. Следите за режимом, где программа сама сообщает агенту, что на экране. Если такой подход приживётся, рутинные действия в сервисах станет проще поручать агентам.

Предпринимателю и разработчику в РФ и СНГ. Разбор написан на русском, так что вход проще, чем у англоязычных проектов. Если у вас есть внутренние утилиты, которыми хотелось бы управлять через агента, это повод поручить программисту прототип.

Прямого российского аналога автор не называет. YandexGPT и GigaChat относятся к другому классу: это языковые модели, а не конструкторы интерфейсов. В теории агент на их основе мог бы управлять такой программой, но в разборе подключение показано только на Claude Code и Cursor.

Какие вопросы задают чаще всего?

Нужно ли уметь программировать, чтобы пользоваться uison?

Чтобы посмотреть демо, нет. Чтобы собрать своё приложение, да: примеры написаны на Rust, C, C++ и ассемблере.

Работает ли это в браузере?

Да. Фреймворк запускается в браузере через WASM, и у автора есть онлайн-демо на GitHub Pages.

Сколько стоит uison?

Цену и условия лицензии автор в разборе не указал. Перед использованием в работе уточните их в репозитории проекта.

Если вы пишете про ИИ-агентов, этот пример стоит держать под рукой. Он наглядно показывает, что программы начинают создавать сразу для двух пользователей: человека и машины.