AI 摘要
- Google 在三款 Gemini Flash 模型推出代理式影片理解。
- 代理式影片理解可降低影片分析的 Token 消耗。
- 這項功能已透過 Gemini API 提供。
Google 宣布在 Gemini 3.7 Flash、3.6 Flash 與 3.5 Flash-Lite 推出全新的代理式影片理解（Agentic Video Understanding）功能。這項技術結合 Gemini 的推理能力與原生影片工具，讓模型能動態搜尋、掃描及檢視影片中的特定片段，以減少影片分析所需的 Token 與成本，並提升分析準確度。
從固定影格分析轉向目標導向處理
傳統影片分析通常以固定影格率讀取內容，預設為每秒 1 影格（FPS），開發者也可透過 API 調整。這種方式在處理 10 分鐘教學影片、90 分鐘演講或數小時的長時間錄影時，可能讓開發者必須在分析成本與遺漏關鍵細節之間取捨。
代理式影片理解則讓 Gemini 採取主動且具目標導向的分析方式。模型能自行判斷需要檢視哪些片段、應使用何種速度或影格率分析，以及應優先採用畫面、音訊或逐字稿等訊號，只擷取完成特定任務所需的內容。
Google：Token 消耗最高降低 88%
根據 Google 公布的基準測試，啟用代理式影片理解後，分析成本最高降低 66%，Token 消耗最高降低 88%，分析準確度最高提升 7%。Google 表示，這些改善在 10 分鐘教學影片、90 分鐘演講及數小時錄影等長篇內容中尤其明顯。
Google 指出，Gemini 3.7 Flash、3.6 Flash 與 3.5 Flash-Lite 三款支援模型都能獲得改善。其中，Gemini 3.7 Flash 在整體品質，以及品質與成本之間的平衡方面表現最佳，並位於 Google 測試模型的影片理解 accuracy-to-cost Pareto frontier。
支援次秒級檢索與長片搜尋
Google 表示，代理式影片理解可應用於多種需要精準分析的影片處理情境，包括：
- 次秒級時刻檢索：定位傳統每秒 1 影格採樣可能錯過的瞬間狀態變化與剪輯邊界，支援更精確的自動影片剪輯。
- 長片搜尋：在數小時的影片中尋找特定資訊，避免為此消耗數百萬 Token。
- 異常偵測：針對感興趣的時間區段提高影格率重新取樣，以檢查快速動作及細微視覺異常。
- 動作與物件計數：追蹤影片中重複發生的動作，以及隨時間出現的不同物件。
透過 Agentic loop 自主選擇分析內容
與固定影格率讀取影片的方式不同，代理式影片理解會讓 Gemini 透過 Agentic loop 主動決定需要查看的內容，再呼叫內部工具載入影片中的相關部分。
開發者過去也能手動建構類似流程，但必須自行處理影片搜尋、片段擷取與分析策略。Google 的做法是將這些步驟交由 Gemini 自主完成，藉此降低開發者建立影片理解流程的工作量。
已透過 Gemini API 提供
目前代理式影片理解已透過 Gemini API 在 Google AI Studio 與 Gemini Enterprise Agent Platform 上線，支援 Gemini 3.7 Flash、3.6 Flash 與 3.5 Flash-Lite。功能可分析開發者上傳的影片，也支援 YouTube 影片。
這項功能採用標準 Gemini API Token 定價，Google 表示不會另外收取功能費用。開發者只需要在 API 設定中將處理模式設為 agentic，即可啟用代理式影片理解。
後續將擴展至 Gemini App 與 YouTube
Google 表示，代理式影片理解將逐步推廣至更多 Google 產品。近期功能將向 Gemini App 中使用 Flash 與 Flash-Lite 模型的所有使用者推出；接下來幾個月，也會應用於 YouTube 影片觀看頁面的 Ask YouTube 功能，讓 Gemini 根據影片視覺內容回答使用者問題。
從目前公布的資料來看，這項功能的主要改變在於讓模型根據任務需求動態分配影片分析資源，而不是以固定影格率處理整段影片。不過，Google 公布的成本、Token 與準確度改善幅度屬於其基準測試結果，實際效能仍可能受到影片長度、內容類型、分析任務及使用模型等因素影響。
Reference Link : techbang.com
