修正型檢索增強生成

Grunnleggende konsepter

大型語言模型 (LLM) 即使透過參數化知識也難以確保生成文本的準確性，而檢索增強生成 (RAG) 雖可作為補充，但高度依賴檢索文件的相關性。本研究提出修正型檢索增強生成 (CRAG)，透過評估檢索文件品質、觸發不同知識檢索動作（如網路搜尋）、精煉知識片段等方式，提升 RAG 的穩健性，並透過實驗證明 CRAG 能顯著提升 RAG 在短、長文本生成任務上的效能。

Sammendrag

論文資訊

標題： 修正型檢索增強生成
作者： Shi-Qi Yan, Jia-Chen Gu, Yun Zhu, Zhen-Hua Ling
發表於： arXiv preprint arXiv:2401.15884v3 (2024)

研究目標

本研究旨在解決檢索增強生成 (RAG) 方法在面對檢索錯誤時所面臨的挑戰，即不準確或誤導性的知識被提供給生成式大型語言模型 (LLM)。

方法

為了解決上述問題，本研究提出修正型檢索增強生成 (CRAG) 方法，其核心概念如下：

1. 檢索評估器： 使用輕量級模型評估檢索文件與輸入查詢的相關性，並根據評估結果觸發不同的知識檢索動作。
2. 知識檢索動作： 包含三種動作：
   • 正確 (Correct)： 當檢索結果包含相關文件時，對其進行知識精煉，提取關鍵知識片段。
   • 錯誤 (Incorrect)： 當檢索結果不包含任何相關文件時，透過網路搜尋獲取補充知識。
   • 模糊 (Ambiguous)： 當評估器無法確定檢索結果的正確性時，結合上述兩種動作的結果。
3. 知識精煉： 將檢索到的相關文件分解成知識片段，過濾掉不相關的片段，並將剩餘片段重新組合成更精煉的知識。
4. 網路搜尋： 利用網路搜尋引擎獲取補充知識，並透過知識精煉方法提取相關資訊。

主要發現

實驗結果顯示，CRAG 能夠顯著提升 RAG 在短文本問答 (PopQA)、長文本生成 (Biography)、是非題 (PubHealth) 和選擇題 (Arc-Challenge) 等多種生成任務上的效能。

結論

CRAG 方法透過修正檢索結果，有效提升了 RAG 的穩健性，使其在面對檢索錯誤時仍能保持良好的生成效能。

研究貢獻

1. 首次針對 RAG 方法在檢索錯誤情況下提出修正策略，提升其穩健性。
2. 提出 CRAG 方法，透過自動自我修正和有效利用檢索文件，提升生成效能。
3. 透過實驗證明 CRAG 適用於各種基於 RAG 的方法，並在短、長文本生成任務上具有良好的泛化能力。

研究限制與未來方向

1. CRAG 方法需要額外訓練一個外部檢索評估器，未來可探索如何將其整合至 LLM 中，使其具備更強的檢索評估能力。
2. 目前 CRAG 方法主要針對英文文本進行評估，未來可進一步探討其在其他語言上的應用。

Statistikk

CRAG 在 PopQA 資料集上，準確率提升了 7.0%。
CRAG 在 Biography 資料集上，FactScore 提升了 14.9%。
CRAG 在 PubHealth 資料集上，準確率提升了 36.6%。
CRAG 在 Arc-Challenge 資料集上，準確率提升了 15.4%。
輕量級 T5 模型作為檢索評估器，在 PopQA 資料集上的準確率達 84.3%，顯著優於 ChatGPT 的 58.0%。

Sitater

"LLMs inevitably exhibit hallucinations since the accuracy of generated texts cannot be secured solely by the parametric knowledge they encapsulate."
"While RAG serves as a practicable complement to LLMs, its effectiveness is contingent upon the relevance and accuracy of the retrieved documents."
"This paper studies the scenarios where the retriever returns inaccurate results and, to the best of our knowledge, makes the first attempt to design corrective strategies for RAG to improve its robustness."

Viktige innsikter hentet fra

Corrective Retrieval Augmented Generation

by Shi-Qi Yan, ... klokken arxiv.org 10-08-2024

https://arxiv.org/pdf/2401.15884.pdf

Dypere Spørsmål

如何在不依賴大量標註數據的情況下，更有效地訓練檢索評估器？

在不依賴大量標註數據的前提下，可以考慮以下方法來更有效地訓練檢索評估器：

弱監督學習 (Weak Supervision)：利用容易獲得的弱標註數據，例如點擊率、用戶反饋等，來訓練檢索評估器。可以採用遠程監督 (Distant Supervision) 或標籤傳播 (Label Propagation) 等方法，自動生成大量的弱標註數據，並以此訓練模型。

對比學習 (Contrastive Learning)：將檢索任務轉化為一個對比學習問題，通過學習區分相關文檔和不相關文檔的表徵，來訓練檢索評估器。例如，可以將同一個查詢下的點擊文檔和未點擊文檔分別作為正樣本和負樣本，訓練模型最大化正樣本和負樣本之間的距離。

預訓練語言模型 (Pre-trained Language Model)：利用預訓練語言模型，例如 BERT、RoBERTa 等，來提取查詢和文檔的語義表徵，並以此訓練輕量級的檢索評估器。預訓練語言模型已經在大規模文本數據上學習到了豐富的語義知識，可以有效提升檢索評估器的性能。

知識蒸餾 (Knowledge Distillation)：利用一個已經訓練好的、性能較好的教師模型 (Teacher Model) 來指導學生模型 (Student Model) 的訓練。教師模型可以是基於大量標註數據訓練得到的，而學生模型可以是輕量級的檢索評估器。通過知識蒸餾，可以將教師模型的知識遷移到學生模型，提升其性能。

主動學習 (Active Learning)：主動選擇最有價值的樣本進行標註，並將其加入訓練數據集中，以迭代的方式提升檢索評估器的性能。主動學習可以有效減少標註成本，同時提升模型的訓練效率。

若將 CRAG 方法應用於其他自然語言處理任務，例如機器翻譯或文本摘要，是否也能獲得類似的效能提升？

CRAG 方法的核心思想是通過評估和修正檢索結果，來提升生成模型的性能。這種思想可以應用於其他依賴於外部知識的自然語言處理任務，例如機器翻譯或文本摘要，並可能獲得類似的效能提升。

機器翻譯: 在機器翻譯中，可以利用 CRAG 方法來評估和修正源語言句子中涉及到的實體或概念的翻譯結果。例如，可以利用一個檢索評估器來判斷當前翻譯系統是否能夠準確翻譯源語言句子中的特定實體，如果不能，則可以觸發知識檢索模塊，從外部知識庫中尋找更準確的翻譯結果。

文本摘要: 在文本摘要中，可以利用 CRAG 方法來評估和修正摘要模型生成的摘要中涉及到的關鍵信息點的完整性和準確性。例如，可以利用一個檢索評估器來判斷當前摘要模型是否準確捕捉到了原文中的所有關鍵信息點，如果沒有，則可以觸發知識檢索模塊，從原文或外部知識庫中尋找遺漏的信息點，並將其補充到摘要中。
然而，需要注意的是，CRAG 方法在不同任務上的應用效果可能會有差異，這取決於具體任務的特点和數據集的特性。例如，在機器翻譯中，CRAG 方法可能更適用於處理低資源語言對的翻譯任務，因為這些語言對的訓練數據通常較少，翻譯模型更容易出現知識缺失的問題。而在文本摘要中，CRAG 方法可能更適用於處理長文本的摘要任務，因為長文本中包含的信息量更大，摘要模型更容易遺漏關鍵信息點。

在資訊爆炸的時代，如何設計更智慧的知識檢索系統，幫助人們從海量資訊中快速找到所需知識？

在資訊爆炸的時代，設計更智慧的知識檢索系統至關重要。以下是一些可以幫助人們從海量資訊中快速找到所需知識的設計方向：

語義理解: 超越關鍵字匹配，深入理解用戶查詢的語義和意圖。可以利用預訓練語言模型、知識圖譜等技術，分析查詢背后的真實需求，並以此检索更精准的資訊。

個性化推薦: 根據用戶的歷史行為、興趣偏好等信息，提供個性化的知識推薦服務。可以利用協同過濾、基於內容的推薦等技術，為用戶推薦其可能感興趣的知識。

多模態搜索: 支持文本、圖像、語音等多種模態的查詢輸入，並根據不同模態的信息进行綜合检索。例如，用戶可以通過拍攝一張圖片，搜索相關的知識或資訊。

問答系統: 允許用戶以自然語言提問的方式進行知識檢索，並以簡潔、直接的方式返回答案。可以利用閱讀理解、知識庫問答等技術，提升問答系統的準確率和效率。

知識圖譜: 構建大規模的知識圖譜，將海量資訊組織成結構化的知識，並提供基於知識圖譜的推理和搜索服務。用戶可以通過知識圖譜，更直觀地瀏覽和理解知識之间的關聯。

可解釋性: 提供可解釋的檢索結果，幫助用戶理解系統的检索依据，提升用戶對系統的信任度。例如，可以展示检索過程中使用的關鍵信息、推理路径等。

持續學習: 不斷學習新的知識和信息，動態更新知識庫，提升系統的時效性和覆盖面。可以利用增量學習、強化學習等技術，讓知識檢索系統不斷進化。

通過結合以上方向，我們可以設計出更智慧的知識檢索系統，幫助人們在資訊爆炸的時代更高效地获取所需知識。