Gemini видео в агентном режиме: на 88% меньше токенов и на 66% дешевле анализ

До сих пор любая модель Gemini обрабатывала видео в один проход: извлекала кадры с частотой 1 FPS (один кадр в секунду), аудио на 1 Кбит/с в одном канале и расставляла временные метки каждую секунду. Для 90-минутной лекции это означало оплату за весь таймлайн, даже если вопрос звучал как «на какой минуте спикер переходит к слайду с ценами». По данным блога Google, новый агентный режим решает эту проблему: Gemini сама выбирает, что смотреть, с какой частотой кадров и через какой канал (видео, аудио или транскрипт).

Что изменилось в работе Gemini с видео?

• Агентный цикл вместо единого прохода. Модель запускает внутренний цикл: сама ищет, сканирует и проверяет нужные сегменты по кадрам, аудио и транскриптам. Загружается только то, что требует промпт (запрос пользователя).
• До 88% меньше токенов и до 66% ниже стоимость. Google приводит эти цифры по своим оценкам на стандартных видеобенчмарках. Основной выигрыш приходится на длинный контент: от 10-минутных руководств до многочасовых записей.
• До 7% выше точность на тех же бенчмарках по сравнению со статическим режимом.
• Поддержка нескольких моделей. Агентный режим работает на Gemini 3.8, 3.7, 3.6 Flash и 3.5 Flash-Lite.
• Включается одной строкой. В параметрах видео достаточно указать поле processing: "agentic".
• Можно смешивать режимы. В одном запросе допустимо поставить агентный режим на длинную лекцию и статический на короткий клип.
• Статический режим остаётся лучше для роликов короче пяти минут и для работы, требующей покадровой точности.

Примечательно, что разработчики и раньше могли собрать подобный цикл вручную, нарезая видео на куски и отправляя по частям. Разница в том, что теперь Gemini делает это внутри себя, и именно здесь исчезают затраты на разработку.

Что возвращает API?

Агентный режим добавляет в массив ответа два новых типа шагов: processing_call (модель запрашивает сегмент или транскрипт) и processing_result (загрузка завершена). Они чередуются с шагами рассуждений (thought) и предшествуют финальному ответу (model_output). По их наличию можно проверить, что агентный режим действительно сработал.

Расход токенов делится на два типа: рассуждения при навигации оплачиваются как «мыслительные» токены (total_thought_tokens), а загруженные по запросу кадры, аудио и транскрипты как «инструментальные» (total_tool_use_tokens).

Как попробовать?

1. Откройте Google AI Studio или подключитесь через Gemini API (доступен, в том числе, разработчикам из России через стандартный API-доступ).
2. Создайте запрос к одной из поддерживаемых моделей (например, gemini-3.7-flash), указав в параметрах видео поле "processing": "agentic".
3. Передайте ссылку на видео (поддерживаются загруженные файлы и публичные URL YouTube) и текстовый промпт с вопросом.
4. В ответе проверьте наличие шагов processing_call и processing_result, чтобы убедиться, что агентный режим включился.

Gemini видео и российские аналоги: есть ли альтернатива?

На момент публикации ни YandexGPT, ни GigaChat не предлагают встроенного анализа видео через API. Для задач, связанных именно с видео (разбор лекций, анализ записей совещаний), Gemini Flash остаётся одним из немногих вариантов, доступных через стандартный API.

Что это значит для вас?

Авторам Дзена. Если вы делаете контент на основе длинных видео (разборы лекций, обзоры вебинаров), агентный режим Gemini видео позволяет получить точные ответы по конкретным моментам записи, не оплачивая обработку всего ролика целиком. Экономия до 66% ощутима при регулярной работе.

Маркетологам. Анализ записей конференций, вебинаров клиентов, длинных презентаций обходится дешевле и точнее. Одна строка кода переключает режим, без перестройки существующих пайплайнов.

Предпринимателям и разработчикам из РФ. Функция доступна через стандартный Gemini API без дополнительной платы. Для анализа многочасовых записей (например, учебных курсов или совещаний) снижение стоимости на 66% меняет экономику задачи. Открытых весов (open weights) нет, самостоятельный хостинг невозможен, только облачный API.

Частые вопросы

Агентный режим Gemini видео бесплатный?

Дополнительной платы за саму функцию нет. Оплата идёт по стандартным тарифам Gemini API за токены. Но поскольку агентный режим тратит значительно меньше токенов на длинных видео, итоговый счёт снижается до 66%.

Можно ли использовать Gemini видео для коротких роликов?

Можно, но Google прямо указывает: для клипов короче пяти минут и для задач, требующих покадровой точности, статический режим (обработка всего видео целиком) работает лучше. Агентный режим выигрывает именно на длинном контенте.

Доступна ли функция в России?

Агентный режим работает через стандартный Gemini API. Открытых весов нет, развернуть на своём сервере нельзя. Доступ из России возможен через API в Google AI Studio, но может потребовать VPN или промежуточного сервера в зависимости от текущих ограничений доступа к сервисам Google.