Google DeepMind 1 сентября 2026 года запустила agentic video understanding для Gemini. Это не очередной корпоративный кейс и не партнёрская новость, а технический релиз для разработчиков: Gemini теперь может не просто брать кадры из ролика с фиксированной частотой, а целенаправленно искать нужные фрагменты видео, пересматривать их в другом темпе и подключать разные сигналы — изображение, звук и транскрипт.
Функция доступна в Gemini API для Gemini 3.7 Flash, Gemini 3.6 Flash и Gemini 3.5 Flash-Lite. Google пишет, что её можно использовать для загруженных видео и YouTube-роликов через Google AI Studio и Gemini Enterprise Agent Platform. Главная практическая цифра из анонса: до 88 % меньше токенов, до 66 % ниже стоимость анализа и до 7 % выше качество на стандартных бенчмарках видеоанализа.
Что именно изменилось
До этого типовой подход к видео в мультимодальных моделях был достаточно грубым. Модель получала ролик как последовательность кадров с заданной частотой. В анонсе Google прямо сравнивает новый режим со статической обработкой, где по умолчанию видео читается примерно как 1 кадр в секунду, хотя частоту можно менять через API.
Такой подход понятен и предсказуем, но плохо масштабируется. Если взять слишком мало кадров, модель может пропустить короткое действие, резкую смену состояния, объект на долю секунды или важный момент между кадрами. Если поднять частоту кадров, счёт быстро превращается в дорогой и тяжёлый запрос: длинная лекция, запись совещания, видео с камеры наблюдения или многочасовой архив начинают съедать огромное количество токенов.
Agentic video understanding меняет именно способ потребления видео. Gemini получает более активную роль: он может определить, что смотреть, с какой скоростью и через какую модальность. Где-то достаточно транскрипта, где-то нужен звук, где-то надо вернуться к визуальным кадрам и просмотреть короткий участок плотнее. Внутри это описано как агентный цикл с использованием native video tools, а не как обычная подача всего ролика равномерным потоком.
Если упростить, модель перестаёт смотреть видео как равнодушный сканер и начинает вести себя ближе к человеку-аналитику: сначала ищет участок, потом приближает внимание, потом проверяет детали. Это важнее красивого слова agentic. Экономия появляется не из магии, а из того, что в контекст попадает меньше лишнего.
Почему это важно для длинных видео
Длинное видео всегда было неудобной задачей для LLM-продуктов. Текст можно разбить на чанки, индексировать, пересказывать, искать по эмбеддингам. Видео сложнее: важная информация может быть в кадре, в речи, в жесте, в изменении положения объекта, в короткой вспышке интерфейса или в сочетании нескольких сигналов.
Статическая обработка вынуждает выбирать компромисс заранее. Например, взять 1 кадр в секунду и надеяться, что этого достаточно. Для спокойной лекции такой режим может быть приемлемым. Для быстрых действий, монтажных склеек, спортивного эпизода, промышленной камеры или демонстрации интерфейса он легко промахивается. Повышение FPS частично решает проблему качества, но ухудшает стоимость и задержку.
Новый режим интересен тем, что компромисс становится динамическим. Если запрос пользователя требует найти момент, где человек на долю секунды нажал кнопку, модель может плотнее посмотреть конкретный участок. Если вопрос касается общего смысла лекции, ей не нужно одинаково подробно просматривать каждую секунду. Если в ролике есть транскрипт, часть работы можно сделать через речь; если речь не отвечает на вопрос, вернуться к визуальному потоку.
Google отдельно подчёркивает пользу на длинных видео: от 10-минутных инструкций до 90-минутных лекций и многочасовых записей. Именно там статическая обработка обычно делает разработчика заложником бюджета. Либо запрос получается дорогим, либо модель пропускает детали.
Какие модели поддерживаются
На старте Google DeepMind называет три модели: Gemini 3.7 Flash, Gemini 3.6 Flash и Gemini 3.5 Flash-Lite. Это важная деталь, потому что релиз не ограничен одной дорогой конфигурацией. Функцию вывели сразу в несколько уровней семейства Flash.
При этом Google выделяет Gemini 3.7 Flash как самый сильный вариант по качеству и соотношению точности к стоимости в их тестах видеоанализа. В анонсе говорится, что с agentic video understanding эта модель выходит на лучшую границу accuracy-to-cost среди проверенных вариантов. Переводя на инженерный язык: если задача действительно зависит от качества видеоанализа, начинать тестирование логично с 3.7 Flash, а уже потом смотреть, хватает ли более лёгкого варианта.
Gemini 3.5 Flash-Lite в таком наборе тоже не случайность. Для массовых сценариев, где видео много, а вопрос относительно простой, лёгкая модель может быть выгоднее. Например, предварительный поиск по архиву, первичная классификация фрагментов, грубая разметка событий, фильтрация очевидных эпизодов. Но если нужна точная проверка короткого момента или сложный вывод по нескольким сигналам, экономия на модели может выйти дороже ошибки.
Где это можно использовать
Первый понятный сценарий — поиск момента в длинной записи. Например, нужно найти, когда на видео изменилось состояние объекта, когда в лекции показали конкретный слайд, когда в демо произошло нужное действие или где в записи совещания обсуждали определённый вопрос. Обычный транскрипт помогает только там, где всё важное проговорено словами. Agentic video understanding полезен там, где ответ спрятан в картинке или в сочетании картинки и речи.
Второй сценарий — автоматический монтаж и обработка видео. Google упоминает sub-second moment retrieval: поиск изменений и границ с точностью меньше секунды. Для редакторских инструментов это сильно отличается от грубой нарезки по главам. Можно искать не просто фразу, а конкретное визуальное событие: появление объекта, переключение экрана, завершение действия, резкую смену сцены.
Третий сценарий — anomaly detection. Если система анализирует камеры, производственные записи, спортивные повторы или техническое видео, важное событие часто выглядит как короткое отклонение от нормы. Статическая обработка с низким FPS может его не заметить. Агентный режим позволяет сначала найти подозрительное окно, а потом пересмотреть его подробнее.
Четвёртый сценарий — подсчёт действий и объектов. Это не всегда так просто, как кажется. Повторяющиеся движения, частично перекрытые объекты, быстрые изменения и плохие ракурсы легко ломают наивную обработку кадров. Google приводит counting action and object как одну из ключевых возможностей: модель может отслеживать повторы и отдельные объекты во времени, а не только смотреть одиночные кадры.
Пятый сценарий — поиск иголки в стоге сена. Это запросы по многочасовым видео, где нужный момент занимает несколько секунд. Тянуть весь ролик в контекст дорого и часто бессмысленно. Делать отдельную ручную систему поиска по кадрам, аудио и транскрипту можно, но это уже отдельный продукт. Если Gemini берёт часть этой маршрутизации на себя, разработчик получает более короткий путь к рабочему прототипу.
Что это значит для разработчиков
Для разработчика самый практичный вывод простой: видеоаналитику можно проектировать не только вокруг заранее выбранного FPS. Раньше приходилось вручную строить pipeline: извлечь кадры, выбрать частоту, отдельно получить транскрипт, положить всё в индекс, придумать поиск по таймкодам, потом собрать запрос к модели. Это всё ещё может быть нужно для сложных продакшен-систем, но Google пытается вынести часть этой логики на уровень модели и API.
В анонсе есть конкретная точка входа: для видео можно указать режим обработки agentic. Google показывает это как параметр processing в конфигурации входного видео. То есть идея не в отдельном внешнем сервисе, а в настройке того, как Gemini API обрабатывает видеообъект.
Здесь важно не переоценить релиз. Agentic video understanding не отменяет инженерную дисциплину. Всё равно нужны таймауты, контроль стоимости, лимиты длины роликов, проверка качества на своих данных, журналирование запросов, fallback для недоступного API и понятный UX, если анализ занимает время. Но меняется базовая возможность: вместо того чтобы всегда самому решать, какие кадры вытащить, можно дать модели цель и позволить ей выбирать, где смотреть подробнее.
Это особенно полезно для продуктов, где видео — не декоративная функция, а рабочий материал. Образовательные платформы, системы разбора звонков и встреч, редакторы видео, поиск по корпоративным архивам, инструменты контроля качества, аналитика камер, спортивный анализ, юридический и медийный ресёрч — везде вопрос не в том, может ли модель описать один кадр, а в том, может ли она найти нужное в длинной записи.
Где остаются ограничения
Первая граница — слово «до» в цифрах. До 88 % экономии токенов, до 66 % снижения стоимости и до 7 % роста качества не означают, что любой ролик завтра станет ровно настолько дешевле и точнее. На реальных данных результат будет зависеть от длины видео, типа вопроса, качества звука, наличия транскрипта, плотности событий и того, насколько задача вообще подходит под динамический просмотр.
Вторая граница — цена ошибки. Если модель должна найти все нарушения на камере, все дефекты на производстве или все юридически значимые фрагменты записи, одного красивого API-флага недостаточно. Нужны выборочные ручные проверки, контроль пропусков, повторные запросы, независимые эвристики и понятный режим эскалации человеку.
Третья граница — воспроизводимость. Агентный просмотр означает, что модель сама выбирает, куда смотреть подробнее. Это удобно, но усложняет отладку: если ответ неправильный, хочется понять, какие фрагменты были просмотрены, какие сигналы использованы и почему один участок оказался важнее другого. В продакшене без наблюдаемости такая система быстро превращается в чёрный ящик.
Четвёртая граница — продуктовая доступность. Google пишет, что функция доступна через Gemini API в Google AI Studio и Gemini Enterprise Agent Platform. Для команды это значит, что сначала надо проверить доступ в своём аккаунте, региональные ограничения, тарифы, лимиты, юридические требования к загрузке видео и условия работы с YouTube-ссылками. Само наличие релиза не равно готовой интеграции в любом продукте.
Как попробовать
Если вы работаете с Gemini API, начать нужно не с большого проекта, а с маленького теста на своих роликах. Возьмите несколько видео, где уже известны правильные ответы: короткое действие, нужный таймкод, повторяющееся движение, вопрос по длинной лекции, фрагмент с визуальной деталью. Затем сравните обычную статическую обработку и processing: agentic по четырём вещам: точность ответа, количество токенов, итоговая стоимость и задержка.
Для первого теста лучше не брать идеальный рекламный ролик. Нужны реальные неудобные данные: длинная запись, шумный звук, быстрые движения, экранная демонстрация, фрагменты без речи, моменты между заметными сценами. Если новый режим даёт выигрыш там, где старый pipeline промахивался или становился слишком дорогим, значит, функция имеет смысл именно для вашего продукта.
Пользователям без API пока важнее следить за тем, куда Google встроит эту возможность. В анонсе сказано, что улучшения позже появятся в Gemini app на моделях Flash и Flash-Lite, а в ближайшие месяцы будут использоваться в функции Ask YouTube на странице просмотра видео. Для обычного пользователя это может выглядеть не как новый режим в настройках, а как более точные ответы по содержимому ролика.
Почему это не просто ещё один AI-анонс
Большая часть AI-новостей звучит одинаково: модель стала быстрее, дешевле и точнее. Здесь интереснее механика. Google не просто поднял benchmark, а меняет способ, которым модель тратит внимание на видео. Это хорошо ложится в общий тренд: модели становятся не только генераторами текста, но и исполнителями маленьких циклов — найти, проверить, приблизить, пересмотреть, сделать вывод.
Для рынка это важный сигнал. Видео остаётся одним из самых дорогих и сложных типов контента для AI-продуктов. Если агентный просмотр действительно уменьшает токены без потери качества, появится больше приложений, где длинное видео можно анализировать не после долгой офлайн-обработки, а почти как обычный рабочий источник.
Для разработчика вывод приземлённый: не надо верить анонсу на слово, но стоит добавить этот режим в список тестов, если продукт упирается в стоимость или точность видеоанализа. Особенно если сейчас приходится вручную выбирать FPS, резать ролики, строить отдельный поиск по таймкодам и всё равно мириться с пропущенными короткими событиями.
Мне нравится в этом релизе именно инженерная честность проблемы. Видео не стало простым. Но у модели появился способ смотреть его менее расточительно: не всё подряд, а то, что нужно для конкретного вопроса. Если это стабильно работает на реальных данных, Gemini API получает сильную практическую функцию, а не просто ещё одну строку в списке мультимодальности.
Источник
Официальный анонс Google DeepMind от 1 сентября 2026 года: Introducing agentic video understanding with Gemini.