Как мультимодальность влияет на развитие ИИ-агентов: настройка помощника за 20 минут
Мультимодальность (способность ИИ работать одновременно с текстом, изображениями, звуком и видео) превращает ИИ-агентов из чат-ботов в цифровых помощников, которые действуют от вашего имени, и в этом руководстве я покажу, как использовать это на практике.

По данным DataReportal, аудитория генеративного ИИ в 2026 году достигла 2,42 млрд человек и выросла за год на 141%. ИИ-агенты перестали только отвечать на вопросы и начали действовать: заказывать продукты, записывать к врачу, разбираться со страховой. Понимание того, как мультимодальность влияет на развитие ИИ-агентов, даёт вам конкретное преимущество: вы настроите помощника, который работает за вас, а не ждёт команд.
Источник этих данных и сценариев, материал, описывающий концепцию Agent First: мира, в котором первичным становится не приложение, а ваше намерение. Вы говорите «организуй поездку», а агент сам выбирает рейс, бронирует отель и обновляет календарь. Какие сайты он при этом использовал, вам уже не важно.
Что понадобится?
- Доступ к мультимодальному ИИ-агенту: ChatGPT Plus или Team (GPT-4o с поддержкой текста, изображений, голоса), Gemini Advanced от Google, или российские аналоги: YandexGPT, GigaChat
- Мессенджер или голосовой интерфейс: Telegram-бот с подключённым агентом, голосовой ассистент на смартфоне или в наушниках
- Список из 3-5 повседневных задач, которые вы хотите делегировать: запись к врачу, заказ продуктов, переписка со страховой, перестройка календаря
- 15-20 минут на первую настройку и тестовый запуск
- Готовность подтверждать действия: агент будет спрашивать разрешение на критичные шаги, и это правильно
Как настроить мультимодального агента для бытовых задач?
- Сформулируйте намерение, а не команду. Вместо «открой сайт аптеки, найди терапевта, выбери свободное окно» скажите агенту одну фразу:
Запиши меня к терапевту на этой неделе,
утром, желательно до 10:00.
Клиника рядом с домом, ОМС.
Мультимодальный агент использует ваш календарь (текст), геолокацию (данные), а если нужно, попросит сфотографировать полис (изображение). Именно так мультимодальность влияет на развитие ИИ-агентов: каждый канал ввода сокращает количество ваших ручных действий.
- Дайте агенту контекст о себе. Настоящий персональный помощник работает не с отдельным запросом, а с тем, что в источнике названо «цифровой моделью мира пользователя» (world model), постоянно обновляемым пониманием того, что для вас сейчас важно. Заполните профиль агента:
Семья: двое детей, младшего забираю из сада к 17:30.
Бюджет на продукты: до 8000 руб/неделю.
Аллергии: орехи.
Страховая: полис ОМС, компания «Согаз».
Предпочтения: доставка Яндекс Маркет или СберМаркет.
Чем точнее профиль, тем меньше уточняющих вопросов. Агент, получивший голосовое сообщение, фото чека и текстовый список, обрабатывает всё параллельно, это и есть мультимодальность в действии.
- Поручите связанную цепочку задач, а не одиночное действие. Сила агента не в том, что он отвечает на вопрос, а в том, что он выстраивает последовательность:
Сегодня вечером гости, 4 человека.
Закажи продукты на ужин (паста, салат, вино),
перестрой календарь, чтобы я успел забрать
ребёнка до 17:30, и напомни мне подтвердить заказ.
В исследовании JetBrains среди более чем 15 000 профессиональных разработчиков 68% летом 2026 года использовали агентов (coding agents) ежедневно. Бытовые сценарии движутся в том же направлении: задача не в том, чтобы нажать кнопку, а в том, чтобы описать результат.
- Проверяйте и подтверждайте критичные действия. Агент должен спрашивать перед оплатой, отправкой документов или записью к врачу. Если ваш инструмент этого не делает, настройте явно:
Перед любой оплатой или отправкой
персональных данных — спроси подтверждение.
Никогда не отправляй документы без моего «да».
- Добавьте голосовой и визуальный ввод. Сфотографируйте документ для страховой вместо того, чтобы перепечатывать. Надиктуйте задачу в наушники по дороге домой. Смартфон при этом лишь одна из поверхностей: тот же агент доступен на ноутбуке, в машине, часах. Мультимодальность убирает барьер ввода, вы общаетесь с агентом так, как вам удобно в конкретный момент.
Что ввели: голосовое сообщение «Страховая отказала в выплате по КАСКО, нужно собрать документы для досудебной претензии», плюс три фотографии (полис, отказное письмо, фото повреждения).
Что получили: агент распознал текст полиса и письма, сопоставил даты, составил черновик претензии со ссылками на пункты договора и предложил отправить через личный кабинет страховой. Попросил подтвердить отправку одним нажатием.
Без мультимодальности пришлось бы вручную перепечатывать номера полиса, даты и суммы. С ней агент извлёк всё из фотографий за секунды.
- Давать агенту полный доступ без ограничений. Не разрешайте автоматическую оплату и отправку документов без подтверждения. Галлюцинация (когда ИИ уверенно выдумывает то, чего не было) никуда не исчезла: агент может неверно прочитать сумму с фото чека или перепутать дату.
- Ожидать, что агент знает ваш контекст с первого дня. Без заполненного профиля он будет задавать десятки уточняющих вопросов. Потратьте 10 минут на настройку, это окупится.
- Путать мультимодальность с универсальностью. Агент принимает текст, фото и голос, но это не значит, что он понимает любой документ. Рукописный рецепт врача или размытое фото мелкого шрифта он может прочитать с ошибками. Проверяйте распознанный текст перед отправкой.
- Забывать про российскую специфику. Зарубежные агенты не знают, как устроена запись через «Госуслуги», и не работают с российскими маркетплейсами напрямую. Используйте агентов, у которых есть интеграция с локальными сервисами, или проверяйте результат вручную.
Что это значит для вас по ролям?
Автору на Дзене. Мультимодальный агент снимает бытовую рутину. Вместо часа на запись к врачу и заказ продуктов, пять минут голосовых поручений. Освободившееся время идёт в контент. А понимание того, как мультимодальность влияет на развитие ИИ-агентов, само по себе становится темой для статей: читатели ищут практику.
Маркетологу. Концепция Agent First означает, что ваш сайт или магазин скоро будут взаимодействовать не с человеком, а с его агентом. Источник описывает, как сервисы уже получают машиночитаемые интерфейсы (MCP, A2A, API). Если ваш лендинг не читается машиной, агент клиента просто выберет конкурента.
Предпринимателю в РФ. Прямого доступа ко многим зарубежным агентам нет, но YandexGPT и GigaChat развивают мультимодальные возможности. Начните с малого: протестируйте голосовой ввод задач и распознавание документов с фото. Это покажет, какие процессы уже можно делегировать.
По моим наблюдениям, главная ценность мультимодального агента не в «умном чате», а в том, что он убирает прослойку приложений между вами и результатом. Вы перестаёте выбирать инструмент и начинаете формулировать намерение. Но честная оговорка: пока ни один агент не заменяет здравый смысл на финальном шаге. Подтверждайте оплаты, проверяйте адреса и даты. Мы в dzen.guru тестируем агентные сценарии каждую неделю, и ошибки распознавания встречаются регулярно, особенно с российскими документами. Делегируйте рутину, контролируйте решения.
Попробуйте ИИ-инструменты dzen.guru
Настройте своего первого мультимодального помощника для работы с контентом на Дзене
Попробовать бесплатноЧерез пару лет вопрос «каким приложением вы пользуетесь» может звучать так же странно, как сейчас «на каком сервере вы храните почту». Агент выберет приложение сам, а вы займётесь тем, ради чего всё это затевалось: жизнью, работой, контентом.

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также

NeRF 3D синтез на JAX: пошаговый гайд от установки до готовой сцены
Технология NeRF (Neural Radiance Field, нейронное поле излучения) позволяет из набора обычных фотографий объекта собрать полноценную трёхмерную сцену, которую…

Mixture of Experts: как архитектура Qwen 3.5 даёт качество 397 млрд параметров по цене 17 млрд
Чтобы ваш ИИ-помощник генерировал текст быстрее и обходился дешевле, полезно понимать, как устроена архитектура Mixture of Experts (MoE, «смесь экспертов»),…

Обама требует от демократов сделать правовое регулирование искусственного интеллекта приоритетом №1
Почему это важно Барак Обама впервые чётко призвал Демократическую партию сделать правовое регулирование искусственного интеллекта центральным пунктом…
Комментарии