AVHBench：一個用於評估音視覺大型語言模型之跨模態幻覺的基準測試

核心概念

現有的音視覺大型語言模型容易產生跨模態幻覺，難以準確理解音訊和視覺訊號之間的關係，需要更強大的基準測試和訓練方法來提高其穩健性。

摘要

AVHBench：音視覺大型語言模型之跨模態幻覺基準測試

研究目標：

本研究旨在評估音視覺大型語言模型 (LLM) 在處理音訊和視覺訊號時的感知和理解能力，特別關注其對跨模態幻覺的穩健性。

研究方法：

• 本研究提出了 AVHBench，一個包含 5,816 個問答對和 1,238 個音視覺字幕的基準測試，涵蓋四個任務：音訊驅動的視覺幻覺、視覺驅動的音訊幻覺、音視覺匹配和音視覺字幕。
• 為了構建數據集，研究人員設計了一個半自動化的標註流程，利用現有數據集（VALOR 和 AudioCaps）的視訊和標註，並結合視覺標籤模型 (RAM++) 和 ChatGPT 自動生成問答對和字幕。
• 研究人員在六個最新的音視覺 LLM 上評估了 AVHBench，並分析了它們在不同輸入模態（多模態、單模態和文字描述）下的表現。

主要發現：

• 現有的音視覺 LLM 容易產生跨模態幻覺，例如從視覺線索中聽到不存在的聲音，或從音訊線索中感知到不存在的視覺事件。
• 與使用多模態輸入相比，這些模型在使用單模態輸入或文字描述輸入時表現更好，這表明它們在處理複雜的多模態訊號時存在困難。
• 通過增強音訊特徵與 LLM 之間的對齊，以及使用 LoRA 微調模型，可以提高模型對跨模態幻覺的穩健性。

主要結論：

• 現有的音視覺 LLM 在理解和推理音訊和視覺訊號之間複雜關係方面仍有很大的改進空間。
• AVHBench 為評估和分析這些模型的跨模態幻覺提供了一個有價值的工具。
• 未來需要探索更強大的訓練方法和更複雜的數據集，以進一步提高音視覺 LLM 的穩健性和可靠性。

研究意義：

本研究揭示了音視覺 LLM 中跨模態幻覺的普遍存在，並提供了一個評估和分析這些現象的基準測試。這項工作為開發更強大、更可靠的音視覺理解模型奠定了基礎，並對各種應用（如視訊理解、人機交互和多模態內容生成）具有重要意義。

研究限制和未來方向：

• 本研究使用的數據集規模相對較小，未來需要構建更大、更多樣化的數據集，以更全面地評估模型的性能。
• 本研究主要關注跨模態幻覺，未來可以進一步研究其他類型的錯誤，例如語義理解錯誤和推理錯誤。
• 未來可以探索更先進的訓練方法，例如多任務學習和對抗訓練，以提高模型的穩健性和泛化能力。

統計資料

AVHBench 數據集包含 5,816 個問答對和 1,238 個音視覺字幕。
這些數據分佈在四個任務中：音訊驅動的視覺幻覺、視覺驅動的音訊幻覺、音視覺匹配和音視覺字幕。
研究人員使用了六個最新的音視覺 LLM 進行評估。
訓練數據集包含 10,327 個視訊和 87,624 個問答對。

引述

“Hallucinations, as illustrated in Fig. 1-[Left], denote that audio-visual LLMs hear imaginary sounds from visual cues or perceive fake visual events from audio cues.”
“Our evaluation results on AVHBench reveal that current audio-visual LLMs are prone to both audio-driven and video-driven hallucinations.”
“This implies that the models’ limited capacity to handle complex multimodal signals may be a potential factor in these hallucinations.”

從以下內容提煉的關鍵洞見

AVHBench: A Cross-Modal Hallucination Benchmark for Audio-Visual Large Language Models

by Kim Sung-Bin... 於 arxiv.org 10-25-2024

https://arxiv.org/pdf/2410.18325.pdf

深入探究

如何利用人類感知的機制來改善音視覺 LLM 對跨模態資訊的處理能力，從而減少幻覺的產生？

人類感知的一個關鍵機制是 跨模態整合，即大腦會自動結合來自不同感官（如視覺、聽覺等）的信息，形成對世界統一且一致的理解。例如，當我們看到一隻狗在吠叫時，視覺和聽覺信息會被整合，讓我們清楚地知道是這隻狗發出的聲音。
然而，目前的音視覺 LLM 主要依靠將不同模態的信息 簡單拼接，缺乏像人類一樣對跨模態信息進行深度整合的能力。這導致模型容易被單一模態的信息誤導，產生 跨模態幻覺，例如只根據視覺信息就產生聲音的幻覺，或者反之。
為了改善音視覺 LLM 的跨模態信息處理能力，可以借鑒人類感知的機制，探索以下方向：

強化跨模態注意力機制: 模仿人類大腦在處理多感官信息時，會選擇性地注意與當前任務相關的信息，開發更精確的跨模態注意力機制，讓模型學習如何有效地捕捉和整合不同模態之間的關聯信息，例如視覺信息和聲音的同步性、一致性等。
構建多模態語義空間: 將不同模態的信息映射到一個共享的語義空間，使模型能夠在更抽象的層面上理解不同模態信息之間的語義關聯，例如將「狗」的視覺特徵和「吠叫」的聲音特徵聯繫起來，從而更準確地判斷聲音的來源。
引入外部知識: 人類在感知世界時，會利用大量的先驗知識來輔助理解。可以為音視覺 LLM 引入外部知識庫，例如常識知識圖譜、音頻-視覺事件數據庫等，幫助模型更好地理解場景、事件和物體之間的關係，從而減少對單一模態信息的依賴，降低幻覺產生的可能性。

通過借鑒人類感知的機制，開發更強大的跨模態信息處理能力，將是未來音視覺 LLM 發展的重要方向，有助於構建更智能、更可靠的多模態理解系統。

如果將 AVHBench 應用於評估人類對音視覺資訊的理解，是否也能夠揭示人類感知系統中存在的某些偏差或錯覺？

將 AVHBench 應用於評估人類對音視覺信息的理解，的確有可能揭示人類感知系統中存在的某些偏差或錯覺。
人類的感知系統並非完美無缺，也會受到各種因素影響，例如：

先驗知識: 我們對世界的既有認知會影響我們對信息的解讀。例如，如果 AVHBench 中出現一個視覺上像貓的物體，但發出狗叫聲，人們可能更容易產生錯覺，認為是貓在叫，因為先驗知識告訴我們貓通常不會發出狗叫聲。
注意力偏差: 人們的注意力資源有限，無法同時關注所有信息。 AVHBench 中一些設計可能會誘導人們的注意力集中在特定模態的信息上，忽略其他模態的信息，從而產生偏差或錯覺。
文化背景: 不同文化背景的人對聲音和圖像的理解可能存在差異。例如，某些聲音在一种文化中可能代表喜慶，但在另一种文化中可能代表悲伤。
通過分析人們在 AVHBench 上的表現，可以研究這些因素如何影響人類的音視覺信息處理，揭示人類感知系統中存在的偏差或錯覺。
然而，需要注意的是，人類感知是一個非常複雜的過程， AVHBench 只能評估其中的一部分方面。 為了更全面地理解人類感知，需要結合其他研究方法和工具。

在虛擬實境或擴增實境等應用場景中，如何利用 AVHBench 等評估工具來確保音視覺 LLM 所生成的內容與真實世界的感知體驗相符，避免產生誤導或不適感？

在虛擬實境 (VR) 或擴增實境 (AR) 等應用場景中，確保音視覺 LLM 生成的內容與真實世界的感知體驗相符至關重要，否則會嚴重影響用戶體驗，甚至產生誤導或不適感。 AVHBench 等評估工具可以發揮重要作用，其方法如下：

內容驗證: 利用 AVHBench 中的 Audio-driven Video Hallucination 和 Video-driven Audio Hallucination 任務，可以評估 LLM 是否會根據虛擬場景中的視覺信息產生不合理的聲音幻覺，或者反之。例如，在虛擬森林中，如果 LLM 為一棵靜止的樹木配上了風吹樹葉的聲音，就說明模型存在幻覺，需要進行調整。
一致性評估: 利用 AVHBench 中的 Audio-visual Matching 任務，可以評估 LLM 生成的聲音和圖像在語義上是否一致。例如，在虛擬音樂會上，如果 LLM 為歌手的演唱配上了與歌詞不符的音樂，就會造成感知上的不協調，影響用戶體驗。
真實感測試: 利用 AVHBench 中的 Audio-visual Captioning 任務，可以讓人們描述 LLM 生成的虛擬場景，並與真實場景的描述進行比較，評估 LLM 生成的內容是否真實可信。例如，可以讓人們描述虛擬海灘的場景，如果描述中出現了與真實海灘不符的元素，例如「海浪的聲音像汽車引擎」，就說明 LLM 生成的內容存在問題。

除了 AVHBench，還可以結合其他評估方法，例如：

主觀評測: 邀請用戶體驗 VR/AR 應用，並收集他們對音視覺效果的反馈，例如是否感覺真實、自然、舒適等。
生理指標測量: 利用腦電圖 (EEG)、眼動儀等設備，測量用戶在體驗 VR/AR 應用時的生理指標，例如注意力水平、情緒變化等，評估音視覺效果是否會對用戶產生負面影響。
通過綜合利用 AVHBench 等評估工具和方法，可以有效提升 VR/AR 應用中音視覺內容的質量，確保其與真實世界的感知體驗相符，為用戶創造更沉浸、更舒適的虛擬體驗。