CRAG：一個全面的 RAG 基準測試

核心概念

CRAG 是一個全新且全面的問答基準測試，旨在評估和改進基於檢索增強生成 (RAG) 的大型語言模型 (LLM)，特別關注其在處理動態和多樣化真實世界資訊方面的能力。

摘要

CRAG 基準測試簡介

本研究論文介紹了 CRAG，一個用於評估和改進檢索增強生成 (RAG) 系統的全新基準測試。RAG 系統透過結合檢索到的外部資訊和大型語言模型 (LLM) 來回答問題。然而，現有的 RAG 資料集不足以代表真實世界問答 (QA) 任務的多樣性和動態性。

CRAG 的設計目標

CRAG 的設計旨在解決現有基準測試的局限性，並提供一個更真實、更全面、更具洞察力的 RAG 評估框架。

真實性：

CRAG 中的問題模擬了真實使用者在實際 QA 情境中提出的問題，確保評估結果與真實世界效能相關。

豐富性：

CRAG 包含多種類型的問題，涵蓋常見用例和複雜用例，以呈現真實世界的挑戰並揭示現有解決方案的潛在局限性。

洞察力：

CRAG 允許輕鬆理解模型在不同資料區塊上的效能，反映其應對不同類型挑戰的能力。

可靠性：

CRAG 透過準確的真實答案、良好的效能指標、簡單可靠的評估方法和具有統計顯著性的指標，確保可靠的效能評估。

長期性：

CRAG 中的情境和資料不會快速過時，並且會隨著時間推移而更新和改進，以實現長期研究和實驗比較。

CRAG 資料集

CRAG 包含 4,409 個問答對和模擬 API，涵蓋金融、體育、音樂、電影和開放領域等五個領域，以及八種類型的問題，包括簡單事實問題、條件問題、比較問題、聚合問題、多跳問題、集合查詢、後處理密集型問題和錯誤前提問題。

CRAG 任務

CRAG 設計了三個任務來測試 RAG 解決方案的不同組成部分：

任務一：檢索摘要

評估模型根據提供的網頁資訊生成答案的能力。

任務二：知識圖譜和網頁檢索增強

評估模型查詢結構化資料來源並綜合不同來源資訊的能力。

任務三：端到端 RAG

評估模型對大量檢索結果進行排序並處理檢索雜訊的能力。

CRAG 評估指標

CRAG 採用基於評分的評估方法，將答案分為完美、可接受、遺漏和錯誤四類，並分別給予 1、0.5、0 和 -1 的分數。此外，CRAG 還採用人工評估和基於模型的自動評估來確保評估的可靠性。

CRAG 的實驗結果

實驗結果顯示，CRAG 對現有的 LLM 和 RAG 系統提出了挑戰。即使是最先進的 LLM，在 CRAG 上的準確率也只有 34% 左右，而 RAG 系統的準確率也只有 44% 左右。這表明，在構建完全可靠的 QA 系統方面仍有很大的改進空間。

CRAG 的貢獻

總之，CRAG 為推進 RAG 研究提供了一個寶貴的基準測試，揭示了現有解決方案的差距，並為未來的研究方向提供了寶貴的見解。

統計資料

CRAG 包含 4,409 個問答對。
CRAG 涵蓋五個領域：金融、體育、音樂、電影和開放領域。
CRAG 包含八種類型的問題。
CRAG 提供模擬 API 來模擬從網頁和知識圖譜中檢索資訊。
最先進的 LLM 在 CRAG 上的準確率約為 34%。
簡單 RAG 解決方案在 CRAG 上的準確率最高可達 44%。
最佳系統的真實性達到 51%。
最佳系統可以為高達 63% 的問題提供完美答案。

引述

"現有的 RAG 資料集不足以代表真實世界問答 (QA) 任務的多樣性和動態性。"
"我們的目標是構建一個基準測試，可以全面了解 RAG 的重要功能，並進行快速而可靠的評估，以推動該領域的發展。"
"CRAG 是一個強大且通用的基準測試，用於測試 RAG 系統和廣泛的 QA 系統，提供了一個共享的測試平台，用於評估這些系統如何處理真實世界、動態和多樣化的資訊檢索和綜合挑戰，以實現可靠的基於 LLM 的問答。"

從以下內容提煉的關鍵洞見

CRAG -- Comprehensive RAG Benchmark

by Xiao Yang, K... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2406.04744.pdf

深入探究

CRAG 如何適應多模態問答等新興趨勢？

CRAG 目前主要關注於以文字為主的問答，但其設計理念可以擴展至多模態問答等新興趨勢。以下列舉一些可能的適應方向：

資料集擴充: 將 CRAG 的資料集擴展至包含圖像、影片、音訊等多模態資料，並設計相應的問答對。例如，可以加入關於電影的問題，並提供電影片段作為參考資訊，評估 RAG 系統整合文字和視覺資訊的能力。
Mock API 設計: 為多模態資料設計新的 Mock API，例如圖像識別 API、影片分析 API 等，模擬真實世界中多模態資訊檢索的過程。
評估指標: 針對多模態問答設計新的評估指標，例如評估答案與多模態資訊的相關性、一致性等。

透過以上擴充，CRAG 可以更好地評估 RAG 系統在多模態問答場景下的效能，促進多模態 RAG 技術的發展。

如果將 CRAG 的規模擴大到與 MS MARCO 和 NQ 相當的規模，是否能進一步提高 RAG 系統的效能？

將 CRAG 的規模擴大到與 MS MARCO 和 NQ 相當的規模，的確有可能進一步提高 RAG 系統的效能，主要原因如下：

更多訓練資料: 更大規模的資料集可以提供更多訓練樣本，讓 RAG 系統學習到更豐富的語言模式和知識，進而提升其回答問題的準確性和完整性。
更全面的知識覆蓋: 更大規模的資料集通常意味著更廣泛的知識覆蓋，這有助於 RAG 系統更好地理解不同領域和主題的問題，並提供更準確的答案。
更強的泛化能力: 更大規模的資料集可以讓 RAG 系統更好地學習到語言和知識的普遍規律，進而提升其在面對未見過問題時的泛化能力。

然而，單純擴大資料集規模並不能保證 RAG 系統效能的全面提升，還需要考慮以下因素：

資料品質: 資料集的規模擴大必須建立在資料品質有保證的前提下。如果資料集中包含大量錯誤或噪聲，反而會影響 RAG 系統的訓練效果。
模型架構: RAG 系統的效能不僅取決於資料集的規模，也與其模型架構、訓練方法等因素密切相關。
計算資源: 訓練更大規模的 RAG 系統需要消耗更多的計算資源，這對於資源有限的研究者來說是一個挑戰。

總而言之，擴大 CRAG 的規模對於提升 RAG 系統效能具有潛力，但需要在資料品質、模型架構、計算資源等方面進行綜合考慮和優化。

CRAG 是否可以應用於評估其他自然語言處理任務，例如文字摘要和機器翻譯？

CRAG 主要設計用於評估 RAG 系統，但其核心概念和部分設計元素可以應用於評估其他自然語言處理任務，例如文字摘要和機器翻譯。
文字摘要:

資料集: CRAG 的資料集包含問答對，可以改為包含文章和對應的摘要，並設計評估指標來衡量模型生成的摘要與參考摘要的相似度、資訊完整性等。
評估指標: CRAG 使用的 Truthfulness 指標可以改為評估摘要的忠實度，例如 ROUGE、BLEU 等指標。
機器翻譯:

資料集: CRAG 的資料集可以擴展至包含不同語言的平行語料庫，並設計評估指標來衡量模型翻譯的準確性、流暢度等。
評估指標: CRAG 使用的 Truthfulness 指標可以改為評估翻譯的準確性，例如 BLEU、METEOR 等指標。
然而，CRAG 的某些設計元素並不直接適用於其他自然語言處理任務，例如：

Mock API: Mock API 主要用於模擬 RAG 系統的資訊檢索過程，對於文字摘要和機器翻譯任務並不適用。
問題類型: CRAG 的問題類型設計主要針對問答任務，對於其他任務需要重新設計。
總而言之，CRAG 的核心概念和部分設計元素可以應用於評估其他自然語言處理任務，但需要根據具體任務進行調整和擴展。