MTVQA：多語言以文字為中心的視覺問答基準測試

核心概念

MTVQA 是一個新的多語言以文字為中心的視覺問答基準測試，旨在解決多語言場景中視覺和文字資訊錯位的問題，推動多語言文字理解領域的發展。

摘要

MTVQA 基準測試簡介

本研究介紹了 MTVQA，這是一個新穎且高品質的多語言以文字為中心的視覺問答（TEC-VQA）基準測試，涵蓋九種語言：阿拉伯語、韓語、日語、泰語、越南語、俄語、法語、德語和義大利語。

MTVQA 的創建動機

現有的 TEC-VQA 基準測試主要關注英語和中文等高資源語言，而忽略了低資源語言的需求。翻譯引擎雖然可以擴展問答對，但在 TEC-VQA 中卻面臨著「視覺-文字錯位」的問題，因為它只處理文字資訊，而忽略了圖像中的關鍵視覺文字。

MTVQA 的數據收集和標註

MTVQA 的數據集包含從真實世界收集的文字豐富的圖像，並由九種語言的人工專家進行了精心標註。數據收集過程包括從公開數據集和網路資源中獲取圖像，並使用多語言 OCR 引擎提取文字資訊。人工標註採用「提出-修正」的範式，確保了問答對的準確性和一致性。

MTVQA 的數據統計

MTVQA 基準測試包含 8,794 張圖像和 28,607 個問答對，涵蓋九種語言，分為訓練集和測試集。數據集涵蓋了超過 20 個細粒度場景，包括菜單、標誌、地圖、賬單、PPT、研究論文等。

MTVQA 的實驗結果

基線模型

研究評估了三種類型的最先進的多模態大型語言模型（MLLM）：開源通用 MLLM、開源以文字為中心的 MLLM 和閉源 MLLM。

評估指標

研究採用準確率作為評估指標，用於衡量模型預測的答案與問題的目標答案相匹配的百分比。

人工表現

為了建立人類在 MTVQA 上的表現基準，研究為每種語言隨機選擇了 10 位受過良好教育的母語人士進行測試。

零樣本評估

在 MTVQA 基準測試上對各種 MLLM 進行了零樣本評估，結果顯示，雖然 MLLM 在理解多語言文字方面具有一定的能力，但其表現仍然不夠穩健，遠遠落後於人類的表現。

指令微調

在 MTVQA 基準測試上進行的指令微調實驗表明，MLLM 在理解和學習不同語言的以文字為中心的數據方面能力各不相同，這為未來多語言以文字為中心的 MLLM 預訓練研究留下了巨大的潛力。

GPT-4V 的少樣本評估

在 MTVQA 上對 GPT-4V 進行了少樣本評估，結果顯示，與零樣本設置相比，GPT-4V 在少樣本設置下的表現有了顯著提高，突出了其在多語言文字理解環境中出色的上下文學習能力。

基於文字的 LLM 和使用 OCR 結果的 MLLM 的實驗

將基於文字的 LLM 和使用 OCR 結果的 MLLM 在 MTVQA 基準測試上的表現進行了比較，結果顯示，OCR+GPT-4V 的表現優於 GPT-4 和 OCR+GPT-4，但三種設置的表現都很差，多語言視覺文字的理解仍然是一個具有挑戰性的問題。

MTVQA 的意義

MTVQA 作為第一個提供針對以文字為中心的場景的完全人工標註的基準測試，為評估多語言視覺文字理解能力提供了一個有價值的平台。研究結果表明，即使是最先進的 MLLM 在多語言以文字為中心的場景中仍有改進的空間，這為未來的研究提供了方向。

統計資料

MTVQA 數據集包含 8,794 張圖像和 28,607 個問答對，涵蓋九種語言。
訓練集包含 6,678 張圖像和 21,829 個問答對。
測試集包含 2,116 張圖像和 6,778 個問答對。
MTVQA 數據集涵蓋了超過 20 個細粒度場景。
人類在 MTVQA 上的平均表現約為 80%。
Qwen2-VL 72B 在 MTVQA 上的平均準確率最高，為 30.9%。
GPT-4o 在 MTVQA 上的平均準確率排名第二，為 27.8%。

引述

“MTVQA has been serving as a standard benchmark for evaluating multilingual visual text comprehension capabilities by some recently released state-of-the-art MLLMs such as Qwen2-VL [46] and InternVL 2 [11].”

從以下內容提煉的關鍵洞見

MTVQA: Benchmarking Multilingual Text-Centric Visual Question Answering

by Jingqun Tang... 於 arxiv.org 11-20-2024

https://arxiv.org/pdf/2405.11985.pdf

深入探究

如何進一步提高 MLLM 在低資源語言上的表現，以縮小與高資源語言之間的差距？

低資源語言在多語言文字理解領域一直是較大的挑戰，以下幾點方向可能有助於進一步提高 MLLM 在低資源語言上的表現：

增加低資源語言訓練數據： 數據是模型訓練的基礎，目前低資源語言的訓練數據相較高資源語言明顯不足。可以透過以下方式增加數據：

跨語言遷移學習： 利用高資源語言的訓練數據和模型，遷移到低資源語言上，例如使用跨語言預訓練模型或進行模型微調。
數據增強： 利用現有的數據進行增強，例如圖像增強、文字改寫、回譯等方式擴充數據集。
主動學習： 利用模型識別出訓練數據中的難例，並針對性地進行人工標註，提高數據效率。

設計更有效的模型架構： 針對低資源語言的特性，設計更有效的模型架構，例如：

引入語言學知識： 將語言學知識，例如詞性、句法、語義等信息融入模型，幫助模型更好地理解低資源語言。
跨語言信息共享： 設計模型架構，讓模型在學習過程中，能夠更好地共享不同語言之間的信息，例如使用多語言詞嵌入、跨語言注意力機制等。

改進評估指標： 目前的評估指標主要關注準確率，但對於低資源語言，更需要關注模型的泛化能力和魯棒性。可以考慮引入以下指標：

低資源評估集： 構建專門針對低資源語言的評估集，更準確地評估模型在低資源語言上的表現。
跨領域泛化能力評估： 評估模型在不同領域的泛化能力，例如將模型應用於新聞、社交媒體、論壇等不同領域的文字理解任務。

結合OCR技術與視覺語義理解： 對於 MTVQA 這類需要理解圖像中文字的任務，可以結合 OCR 技術和視覺語義理解技術，例如：

多語言 OCR 技術： 提高 OCR 技術在低資源語言上的識別準確率，為後續的文字理解提供更準確的輸入。
視覺語義聯合建模： 將 OCR 識別出的文字與圖像的視覺信息進行聯合建模，幫助模型更好地理解圖像中的文字信息。

MTVQA 數據集目前只包含單一的標準答案，是否可以考慮引入多個合理答案以更好地評估模型的理解能力？

是的，引入多個合理答案可以更好地評估模型的理解能力。 目前 MTVQA 數據集只包含單一標準答案，這限制了模型的表達能力，也使得評估結果不夠全面。 例如，對於一個開放性問題，可能存在多個合理的答案，而單一標準答案只能覆蓋其中一種情況。
引入多個合理答案有以下幾個好處：

更全面地評估模型的理解能力： 模型需要理解問題的不同方面，並生成多個合理的答案，才能在評估中獲得高分。
鼓勵模型生成更豐富的答案： 模型可以生成更具體、更詳細的答案，而不僅僅是簡短的詞語或短語。
更貼近真實應用場景： 在實際應用中，很多問題的答案並不唯一，允許多個合理答案更符合實際情況。

引入多個合理答案也帶來一些挑戰：

標註成本增加： 需要更多的人工標註來提供多個合理答案。
評估指標的選擇： 需要選擇合適的評估指標來評估模型生成的多個答案的質量，例如 BLEU、ROUGE、METEOR 等。

總體而言，引入多個合理答案利大於弊，可以更好地評估模型的理解能力，並促進模型生成更豐富、更合理的答案。

如何將 MTVQA 基準測試應用於實際應用場景，例如多語言文件分析、場景理解等？

MTVQA 基準測試可以用於評估模型在多語言環境下理解圖像中文字信息的能力，這項能力可以應用於許多實際場景，例如：
1. 多語言文件分析：

文件摘要和關鍵信息提取： MTVQA 可以評估模型從多語言文件中提取關鍵信息和生成摘要的能力，例如從產品說明書中提取規格參數、從合同中提取條款要點等。
文件搜索和問答： 基於 MTVQA 訓練的模型可以應用於多語言文件搜索引擎，根據用戶的自然語言提問，精確地定位到相關文件和段落，並提供答案。
文件翻譯和理解： 結合機器翻譯技術，MTVQA 可以幫助構建跨語言的文件理解系統，例如將英文合同翻譯成中文，並提取其中的關鍵條款。
2. 場景理解：

多語言導航和信息查詢： 基於 MTVQA 訓練的模型可以應用於多語言導航系統，幫助用戶識別路標、指示牌等信息，並提供導航指引。
商品搜索和推薦： 在電商平台上，MTVQA 可以幫助用戶根據商品圖片和文字描述，快速找到心儀的商品，並提供個性化推薦。
社交媒體內容理解： MTVQA 可以幫助分析多語言社交媒體上的圖片和文字信息，例如識別圖片中的品牌、人物、事件等，並理解用戶的情感和觀點。
3. 其他應用：

教育輔助： MTVQA 可以用於開發多語言教育輔助工具，例如幫助學生理解課本插圖、學習外語等。
醫療診斷： MTVQA 可以幫助醫生分析多語言醫學影像報告，例如 X 光片、CT 掃描等，提高診斷效率和準確率。
安全監控： MTVQA 可以用於多語言安全監控系統，例如識別監控畫面中的可疑文字信息，預警潛在的安全風險。
總之，MTVQA 基準測試為評估和提升模型的多語言文字理解能力提供了一個有效的平台，其應用潛力巨大，可以促進多個領域的技術發展和應用落地。