透過核心影格選擇，用於細粒度視訊推理的大規模思維鏈資料集：VideoEspresso

核心概念

針對現有視訊問答資料集在規模和粒度方面的限制，本文提出了 VideoEspresso，這是一個透過自動化流程建構的高品質、大規模視訊問答資料集，旨在提升大型視覺語言模型在複雜視訊推理任務上的效能。

摘要

VideoEspresso：一個用於細粒度視訊推理的大規模思維鏈資料集

簡介

• 本文介紹了一個名為 VideoEspresso 的新型資料集，旨在促進對巨觀視訊語義進行高階推理。
• 該資料集透過可擴展的全自動生成流程生成，從精簡的視訊內容中產生高質量的推理視訊問答對。

VideoEspresso 的建構流程包含以下關鍵階段：

• 收集原始視訊資料，並透過冗餘減少來簡化視訊影格，以封裝基本內容。
• 根據這些影格，生成捕捉每個視訊核心語義的問答對。
• 為了進一步提高可解釋性並加強複雜推理能力的基準，我們納入了細粒度的思維鏈 (CoT) 註釋，這些註釋透過時空交互作用連接核心視覺元素，彌合了傳統視訊問答對中的推理差距。

視訊資料整理

• 利用大量未註釋的網路視訊來建構可擴展的資料集。
• 從 7 個資料集中收集原始視訊，涵蓋新聞、電影、紀錄片、動畫和教育內容等多種類型。
• 這些高階語義為建構複雜且連貫的問答資料集提供了堅實的基礎。

視訊影格中的冗餘去除

• 目標是透過選擇簡潔的影格序列來消除視訊中的冗餘資訊並保留基本內容。
• 根據視訊類型確定適當的採樣間隔。
• 使用 InternVL2-8B 對所有採樣影格執行影格級別的字幕生成。
• 利用語言檢索模型 BGE-M3 透過細粒度語義過濾來初步去除高度相似的影格。

問答對建構

• 利用大型語言模型 (LLM) 強大的語言推理能力，根據視訊影格的詳細描述自動建構高質量的視訊推理問答對。
• 採用連續分組方法來簡化影格，以保持組內的語義連續性，並避免模型幻覺和指令遵循失敗等問題。
• 設計並迭代完善提示，以確保 LLM 在建構問答對時遵循規則。
• 使用額外的 LLM 來驗證問答對的質量，包括消除問答對中的幻覺、檢查答案的事實準確性，以及過濾掉對高度主觀或難以評估的開放式問題的答案。

多模態思維鏈註釋

• 註釋包含關鍵時空資訊的多模態證據，以進一步增強模型的推理能力。
• 將 3.3 節中獲得的問答對及其對應的影格序列分組作為輸入，並設計相應的提示來引導 GPT-4o 提取關鍵資訊。
• 使用 GroundingDINO 對所有關鍵項標記邊界框，並利用 CLIP-ViT-B/32 來驗證標籤與邊界框內物件之間的一致性。
• 採用 BGE-M3 來檢索原始集合 Gi 中的字幕，並獲得時間基礎資訊 t。

資料分析

• 研究了不同任務中相鄰關鍵影格之間距離的分佈，以及 CoT 中關鍵項的數量。
• 將 VideoEspresso 與流行的資料集 MVBench 的問答內容進行了比較，包括標記長度和詞雲的差異。

混合式 LVLMs 協作進行視訊問答

• 提出了一種高效的視訊推理框架，該框架採用混合式 LVLMs 協作，以實現經濟高效且準確的視訊 LVLMs 推理。
• 該框架由兩個核心組件組成：一個輕量級選擇器，用於識別與輸入問題密切相關的核心影格；一個強大的 LVLM，用於根據這些選定的核心影格執行內容理解和推理。

透過 Tiny LVLM 選擇核心影格

• 提出了一種輕量級選擇器，旨在從輸入視訊中提取與問題密切相關的核心影格。
• 該架構由一個具有 10 億個參數的輕量級 LVLM 和一個具有 5 億個參數的 LLM 組成，採用順序設置。
• LVLM 的功能是將視訊影格轉換為語言描述，而 LLM 則根據這些描述選擇與問題最相關的影格。

透過 LVLM 進行細粒度推理

• 設計了一種兩階段監督微調範式，使模型能夠有效利用多模態時空證據來回答複雜的推理任務。
• 在第一階段，引導模型從與問題相關的視訊資料中提取必要的視覺證據，為更深層次的推理奠定基礎。
• 在第二階段，進一步微調模型，使其能夠根據提取的多模態證據直接生成答案。

推理

• 在推理階段，首先使用輕量級選擇器從視訊中提取與問題密切相關的核心影格，作為後續推理的輸入。
• 然後利用經過微調的推理 LVLM，透過思維鏈過程生成證據，以支持最終答案的生成。

實驗

• 介紹了 VideoEspresso 評估基準，其中包括 14 個預定義任務和基於 GPT-4o 的開放式評估指標。
• 選擇了 7 個開源和 2 個閉源 LVLMs 作為比較基準，並採用基於細粒度語義相似度的兩步評估方法來更準確地評估 LVLMs 的開放式響應。
• 在主觀評估中，從邏輯一致性、事實性、準確性和簡潔性四個方面評估了 LVLMs 答案的質量。

結論

• VideoEspresso 透過解決現有資料集在規模和粒度方面的限制，增強了視訊推理能力。
• 透過整合混合式 LVLMs 協作框架，實現了經濟高效且準確的視訊推理，在我們提出的基準測試中，大多數任務的表現都優於基準模型。
• VideoEspresso 為視訊推理樹立了新的起點，提供了豐富的註釋，促進了先進的多模態理解。

統計資料

VideoEspresso 資料集包含 14 個預定義任務，涵蓋時間、邏輯、場景、行為和狀態等多個方面。
與 MVBench 的問答內容相比，VideoEspresso 的答案集平均長度更長，分佈更為多樣化。
在相同的視訊輸入下，與 LLaVA-Next-interleave 相比，我們的方法將輸入影格數減少了約 82%，FLOPs 降低了約 85%。
在主觀評估中，我們的方法在簡潔性評估中超過了 GPT-4o 5%。
與統一採樣方法相比，我們提出的核心影格選擇顯著提高了視訊理解能力。
將選擇器應用於其他 LVLMs 後，影格輸入量減少了約 15%。
LongVA 的影格輸入量減少了 98%。

引述

"To address these challenges, we propose a novel automatic VideoQA construction method and introduce a new dataset, VideoEspresso."
"By preserving important spatial details with temporal coherence, we create a fine-grained reasoning-enabled VideoQA dataset that fosters more effective multimodal understanding."
"To fully leverage the potential of the high-quality VideoQA pairs in our proposed VideoEspresso, we introduce a novel framework, Hybrid LVLMs Collaboration for VideoQA, achieving cost-effective and accurate video LVLM reasoning."

從以下內容提煉的關鍵洞見

VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection

by Songhao Han,... 於 arxiv.org 11-25-2024

https://arxiv.org/pdf/2411.14794.pdf

深入探究

如何評估 VideoEspresso 資料集對其他視覺語言任務（如視訊字幕生成、視訊摘要）的泛化能力？

要評估 VideoEspresso 資料集對視訊字幕生成、視訊摘要等其他視覺語言任務的泛化能力，可以採取以下幾個步驟：

資料集分割: 將 VideoEspresso 資料集分割成訓練集、驗證集和測試集。重要的是確保測試集中的視訊沒有出現在訓練集中，以評估模型對新資料的泛化能力。
模型訓練: 使用 VideoEspresso 的訓練集和驗證集，針對目標任務（例如視訊字幕生成或視訊摘要）訓練一個新的視覺語言模型。可以使用現有的模型架構，並根據目標任務進行微調整。
模型評估: 使用測試集評估訓練好的模型在目標任務上的性能。可以使用標準的評估指標，例如 BLEU、ROUGE 或 METEOR（用於視訊字幕生成）或 ROUGE-L、CIDEr（用於視訊摘要）。
比較分析: 將使用 VideoEspresso 訓練的模型的性能與使用其他視訊語言資料集訓練的模型進行比較。這將有助於了解 VideoEspresso 資料集的優勢和劣勢，以及它對其他視覺語言任務的泛化能力。

此外，還可以透過以下方式進一步評估 VideoEspresso 的泛化能力：

跨領域評估: 使用來自不同領域的視訊資料集（例如新聞、體育、娛樂等）評估模型的性能。
零樣本學習: 評估模型在沒有經過任何微調的情況下，對新任務的學習能力。
通過以上評估，可以更全面地了解 VideoEspresso 資料集對其他視覺語言任務的泛化能力。

在構建 VideoEspresso 資料集時，如何確保資料的多樣性和避免潛在的偏見？

在構建 VideoEspresso 資料集時，確保資料的多樣性和避免潛在的偏見至關重要。以下是一些可以採取的措施：

資料來源多樣化: 從多個來源收集視訊，例如電影、電視節目、網路影片、新聞報導等，涵蓋不同的主題、風格、文化背景和地理位置。
平衡資料分佈: 分析資料集中不同類別、主題、人物、場景等的比例，確保資料分佈均衡，避免過度代表某些特定群體或觀點。
審查問題和答案: 在使用 GPT-4o 自動生成問題和答案的過程中，需要人工審查生成的內容，確保問題和答案的合理性、準確性和客觀性，避免引入偏見或歧視性內容。
關鍵物件標註: 在進行關鍵物件標註時，需要制定明確的標註標準，並對標註人員進行培訓，確保標註的一致性和準確性，避免因為標註者的主觀因素引入偏見。
持續監控和更新: 資料集構建完成後，需要持續監控其使用情況，並根據回饋意見和最新研究成果進行更新和改進，以確保資料集的品質和代表性。

此外，還可以參考以下建議：

公開透明: 公開資料集的構建過程、方法和統計數據，讓使用者了解資料集的特性和潛在的局限性。
社群參與: 鼓勵社群參與資料集的構建和審查，收集不同觀點和建議，共同打造一個更完善的資料集。
通過以上措施，可以最大程度地確保 VideoEspresso 資料集的多樣性和避免潛在的偏見，使其更具代表性和應用價值。

如果將 VideoEspresso 的方法應用於其他多模態資料（如圖文、音視訊），會產生怎樣的影響？

將 VideoEspresso 的方法應用於圖文、音視訊等其他多模態資料，將會帶來以下潛在影響：
1. 推動多模態理解和推理:

圖文資料: VideoEspresso 的核心框架選擇和多模態 CoT 標註方法可以應用於圖文資料，例如漫畫、圖文新聞等，幫助模型理解圖像和文字之間的語義關聯，提升圖文理解和問答能力。
音視訊資料: VideoEspresso 的方法可以擴展到音視訊資料，例如電影、電視節目、線上課程等，通過分析視覺、聲音和文字資訊，幫助模型更全面地理解音視訊內容，提升視訊摘要、情感分析、事件預測等任務的性能。
2. 促進更豐富的資料集構建:

自動化標註: VideoEspresso 的自動化標註流程可以應用於其他多模態資料，降低人工標註成本，提高資料集構建效率。
多模態 CoT: VideoEspresso 的多模態 CoT 標註方法可以為其他多模態資料提供更豐富的語義資訊，促進更複雜的多模態推理任務的發展。
3. 拓展多模態應用的邊界:

更智能的人機交互: 基於 VideoEspresso 方法訓練的多模態模型可以應用於更廣泛的領域，例如虛擬助手、聊天機器人等，提供更自然、更智能的人機交互體驗。
更精準的內容推薦: 多模態理解能力的提升可以幫助推薦系統更準確地理解用戶需求，提供更個性化、更精準的內容推薦服務。
然而，將 VideoEspresso 的方法應用於其他多模態資料也面臨一些挑戰：

資料複雜性: 不同類型多模態資料的特性差異較大，需要針對性地調整模型架構和訓練策略。
計算資源需求: 多模態資料的處理和分析需要更強大的計算資源，這對於資源有限的研究者來說是一個挑戰。
總體而言，將 VideoEspresso 的方法應用於其他多模態資料具有巨大的潛力和廣闊的應用前景，但也需要克服一些挑戰。相信隨著技術的進步和研究的深入，VideoEspresso 的方法將會在更多多模態領域發揮重要作用。