基於合成數據的多模態問答生成框架：風格與模態的精準控制

核心概念

本文提出了一種名為 SMMQG 的合成數據生成框架，用於生成基於多模態文檔、符合特定風格和模態要求的多模態問答對，並通過實驗證明了其生成數據的高質量和在評估多模態問答系統方面的有效性。

摘要

摘要
本文介紹了一種名為 SMMQG 的合成數據生成框架，用於解決多模態問答領域缺乏高質量數據集的問題。SMMQG 利用檢索器、大型語言模型（LLM）和大型多模態模型（LMM）之間的交互，直接從多模態文檔中生成符合指定風格和模態要求的問答對。作者使用 SMMQG 基於維基百科文檔生成了包含 1024 個問題的多模態問答數據集，並使用該數據集評估了最先進的模型，揭示了模型性能在不同風格和模態下的差異。此外，作者還通過人工評估驗證了 SMMQG 生成數據的高質量，發現其與人工標註的基準數據集 MMQA 相當，且下游評估結果也高度一致。
引言
隨著檢索增強生成（RAG）在基於文本的問答中的廣泛應用，將 RAG 擴展到多模態環境（MMRAG）引起了越來越多的關注。然而，評估 MMRAG 系統面臨著一個主要挑戰，即缺乏與目標問題風格和模態相匹配的高質量數據集。現有數據集通常包含固定的（來源、問題、答案）元組，無法根據特定需求定制評估問題。
問題設定
SMMQG 框架的輸入包括：

多模態來源 S：提供問題生成的上下文信息，包括文本段落、表格和圖像。
問題風格 v：問題風格的描述和示例。
模態要求 M：一個三元組整數 M = (mtext, mtable, mimage)，用於指示生成問題的模態，例如 M = (2, 1, 0) 表示生成的問題應為包含兩個文本來源和一個表格來源的跨模態文本-表格問題。
SMMQG 框架的輸出包括：

合成問題 q：其風格取決於輸入的 v。
長格式答案 a：問題的答案。
問題來源引用 Z：其中 zi ∈ S，表示問題 q 只能使用來自 Z 中每個來源的信息來回答，且問題來源的模態必須與 M 相匹配。
方法
SMMQG 由五個步驟組成：

**採樣種子來源：**從多模態來源 S 中選擇一個種子來源 sseed，並通過引入權重 wi 來避免選擇與其他來源無關的異常值。
**提取實體：**使用 GPT-4-Turbo 從種子來源中提取一個突出的實體，例如“網球”、“日本”、“機器學習”等。
**檢索候選來源：**使用 E5-Large 檢索器，以提取的實體作為查詢，檢索與其語義相關的候選來源 ˜Z。
**問題生成：**將 ˜Z、任務指令、問題風格 v、模態要求 M 和三個風格特定的少樣本示例輸入 LLM 或 LMM（取決於是否存在圖像候選來源），生成問題 q、答案 a 和問題來源引用 Z。
**問題驗證：**對生成的問題和答案進行三項檢查：

驗證所選問題來源的模態是否與 M 相匹配。
驗證生成的問題是否符合指定的問答風格。
驗證生成的答案 a 是否正確回答了問題 q，以及 Z 中的每個來源是否都是回答問題所必需的。

實驗
作者使用 SMMQG 基於維基百科文檔構建了一個多模態問答數據集，包含 1024 個問答樣本，涵蓋五種不同的問題風格和所有成對的模態組合。實驗結果表明，SMMQG 可以生成高質量的、符合特定風格和模態要求的問答數據集，並可以用於評估多模態問答系統的性能。
結論
SMMQG 是一個用於生成基於多模態文檔、符合特定風格和模態要求的合成多模態問答的框架。實驗結果表明，SMMQG 生成數據的質量與人工標註的基準數據集 MMQA 相當，並且可以有效地評估多模態問答系統的性能。

統計資料

SMMQG 生成的數據集包含 1024 個問答樣本。
數據集涵蓋五種不同的問題風格，包括信息提取、比較對比、數值計算、複合問題和多跳推理。
數據集包含所有成對的模態組合，包括文本、表格和圖像。
人工評估結果顯示 SMMQG 生成數據的質量與人工標註的基準數據集 MMQA 相當。
SMMQG 和 MMQA 的 Kendall's tau 值分別為 0.87 和 0.86，表明兩者具有高度的一致性。

從以下內容提煉的關鍵洞見

Synthetic Multimodal Question Generation

by Ian Wu, Srav... 於 arxiv.org 10-07-2024

https://arxiv.org/pdf/2407.02233.pdf

深入探究

如何將 SMMQG 框架應用於其他多模態任務，例如圖像描述生成或視頻問答？

SMMQG 框架的核心思想是利用檢索器、大型語言模型和大型多模態模型之間的交互，根據輸入的多模態數據生成問題和答案。這種思想可以應用於其他多模態任務，例如圖像描述生成或視頻問答。
圖像描述生成：

多模態數據源： 將圖像作為主要數據源，可以結合圖像標題、相關文本描述等作為輔助信息。
問題風格： 可以定義不同的問題風格，例如描述圖像中的主要對象、描述圖像中的事件、比較圖像中的不同對象等。
模態要求： 可以根據需要生成單模態（僅基於圖像）或跨模態（結合圖像和文本）的描述。
模型選擇： 可以使用圖像描述生成模型（例如DALL-E、Stable Diffusion）作為問題生成模型，並使用圖像-文本匹配模型評估生成的描述與圖像的相關性。

視頻問答：

多模態數據源： 將視頻作為主要數據源，可以結合視頻字幕、音頻轉錄文本、相關文本描述等作為輔助信息。
問題風格： 可以定義不同的問題風格，例如關於視頻內容的客觀問題、關於視頻中人物情感的主觀問題、關於視頻未來發展的預測問題等。
模態要求： 可以根據需要生成單模態（僅基於視頻）或跨模態（結合視頻、音頻和文本）的答案。
模型選擇： 可以使用視頻問答模型（例如Hiero, VQA-T）作為問題生成模型，並使用視頻-文本匹配模型評估生成的答案與視頻的相關性。

總之，將 SMMQG 框架應用於其他多模態任務需要根據具體任務調整數據源、問題風格、模態要求和模型選擇，但核心思想保持不變。

如果生成的數據集中存在偏差或不公平性，如何評估和減輕 SMMQG 框架的潛在風險？

由於 SMMQG 框架依賴於大型語言模型和大型多模態模型，而這些模型本身可能存在偏差或不公平性，因此生成的數據集也可能存在這些問題。
評估數據集偏差：

統計分析： 分析數據集中不同群體（例如性別、種族、職業）的出現頻率、特徵描述等，判斷是否存在顯著差異或刻板印象。
語義測試： 使用詞嵌入等技術分析數據集中與不同群體相關的詞彙，判斷是否存在偏見或歧視性含義。
人工評估： 邀請人工評估者判斷數據集中的問題、答案和數據源是否存在偏差或不公平性。

減輕數據集偏差：

數據增強： 收集更多樣化的數據，特別是關注代表性不足的群體，以平衡數據集。
數據清洗： 識別並刪除數據集中存在偏差或不公平性的樣本。
模型微調： 使用經過偏差校正的數據集微調大型語言模型和大型多模態模型，以減少模型本身的偏差。
約束生成過程： 在問題生成過程中添加約束條件，例如限制特定詞彙的使用、強制要求答案的多樣性等，以避免生成帶有偏差的內容。

此外，還需要建立數據集偏差反饋機制，鼓勵用戶報告數據集中的問題，並及時進行修正。

在構建更強大的多模態問答系統時，除了數據集的規模和質量之外，還有哪些其他因素需要考慮？

除了數據集的規模和質量，構建更強大的多模態問答系統还需要考虑以下因素：

模型架構： 選擇合適的模型架構對於多模態問答至關重要。例如，Transformer 模型在處理長序列數據方面表現出色，而圖神經網絡則擅長捕捉不同模態之間的關係。
多模態融合： 有效地融合不同模態的信息是多模態問答的關鍵挑戰。常見的融合方法包括早期融合、晚期融合和混合融合。
知識整合： 將外部知識庫整合到問答系統中可以提高答案的準確性和完整性。例如，可以使用知識圖譜來增強模型對實體和關係的理解。
推理能力： 許多多模態問答任務需要模型具備一定的推理能力，例如數值計算、常識推理、邏輯推理等。
可解釋性： 提高模型的可解釋性可以幫助我們理解模型的決策過程，並提高用戶對模型的信任度。
效率： 在實際應用中，問答系統的效率也是一個重要的考慮因素。需要優化模型的訓練和推理速度，以滿足實時性要求。

總之，構建強大的多模態問答系統需要綜合考慮多個因素，而不僅僅是數據集的規模和質量。