核心概念
針對直接偏好優化 (DPO) 在多模態大型語言模型 (MLLM) 中傾向於文本信息而導致視覺幻覺的問題,本文提出了一種模態公平偏好優化 (MFPO) 方法,通過構建圖像偏好數據和多階段對齊策略,平衡文本和圖像模態的偏好優化,從而提高模型的可靠性。
論文資訊
標題:基於模態公平偏好優化的可靠多模態大型語言模型對齊
作者:Songtao Jiang, Yan Zhang, Ruizhe Chen, Yeying Jin, Zuozhu Liu
機構:浙江大學,新加坡國立大學
研究目標
本研究旨在解決直接偏好優化 (DPO) 在多模態大型語言模型 (MLLM) 中存在的文本信息偏好問題,該問題會導致模型產生視覺幻覺,並影響其可靠性。
方法
為了實現文本和圖像模態之間的平衡優化,本研究提出了一種模態公平偏好優化 (MFPO) 方法。該方法主要包含以下步驟:
圖像偏好數據生成:
關鍵視覺區域選擇: 利用多部圖從文本偏好數據中提取關鍵詞,並使用改進的 Segment Anything Model (SAM) 將關鍵詞映射到相應的圖像區域。
重要性評分: 使用基於 PageRank 的算法對關鍵詞進行排序,選擇最相關的區域。
區域映射和擾動: 對選定的區域應用擴散噪聲進行擾動,生成拒絕圖像數據。
MFPO 訓練過程:
文本偏好對齊: 使用 DPO 策略目標進行文本偏好優化。
圖像偏好對齊: 使用原始圖像和擾動圖像進行圖像偏好優化。
邊緣損失: 引入邊緣損失以提高訓練穩定性。
易到難迭代對齊:
熵計算: 使用語義熵估計模型響應的不確定性。
按難度排序: 根據熵值將訓練數據集分為簡單、中等和困難三個級別。
迭代對齊: 從簡單樣本到困難樣本逐步訓練模型,以提高訓練效率和穩定性。
主要發現
實驗結果表明,MFPO 方法可以有效減少視覺幻覺,並提高模型在多個基準測試中的性能,包括 Object HalBench 和 AMBER。
主要結論
MFPO 方法通過平衡文本和圖像模態的偏好優化,有效提高了 MLLM 的可靠性。研究結果強調了模態平衡在多模態任務中的重要性,確保模型能夠有效利用視覺和文本信息。
局限性
本研究尚未在更大規模的模型上進行測試。
目前用於評估模型可靠性的數據集仍然有限。
統計資料
在 Object HalBench 基準測試中,MFPO 方法在 7B 模型上實現了最先進的性能,CHAIRi 得分為 5.1,比現有方法提高了近 40%。
在 AMBER 數據集上,MFPO 方法也實現了最先進的性能,幻覺率比先前的方法降低了 20% 以上。
使用多部圖從原始文本偏好數據中提取關鍵視覺關鍵詞的準確率為 81%。