DMQR-RAG：透過多樣化多重查詢改寫提升檢索增強生成

Core Concepts

為了解決大型語言模型在靜態知識和幻覺方面的局限性，本文提出了 DMQR-RAG，一個通用的多重查詢改寫框架，透過多樣化的改寫策略和自適應選擇方法，提升檢索增強生成中文件檢索和最終回應的效能。

Abstract

論文資訊
Zhicong Li, Jiahao Wang, Zhishu Jiang, Hangyu Mao, Zhongxia Chen, Jiazhen Du, Yuanxing Zhang, Fuzheng Zhang, Di Zhang, Yong Liu. (2024). DMQR-RAG: Diverse Multi-Query Rewriting for Retrieval-Augmented Generation. arXiv preprint arXiv:2411.13154v1.
研究目標
本研究旨在解決檢索增強生成 (RAG) 中，由於使用者查詢存在噪音和意圖偏差，導致檢索文件相關性不足的問題。
方法

提出一種通用的多重查詢改寫框架 DMQR-RAG，採用基於資訊量調整的四種改寫策略：資訊相等（一般查詢改寫和關鍵字改寫）、資訊擴展（虛擬答案改寫）和資訊縮減（核心內容提取）。
設計一種自適應改寫策略選擇方法，利用輕量級提示和少樣本學習，根據特定查詢動態選擇合適的改寫策略。
主要發現

多重查詢改寫通常優於單一查詢改寫，DMQR-RAG 在多數情況下優於現有的改寫方法，包括 RAG-Fusion。
自適應策略選擇方法能以更少的改寫次數，在文件檢索和最終回應方面取得更佳效能。
DMQR-RAG 框架適用於多種大型語言模型，包括 Llama3-8B、Qwen2-7B 和 GPT-4。
主要結論
DMQR-RAG 能有效提升檢索增強生成中文件檢索和最終回應的效能，為解決大型語言模型在靜態知識和幻覺方面的局限性提供一種有效方法。
研究意義
本研究為提升檢索增強生成的效能提供一種新的思路，並為開發更通用的查詢改寫方法奠定基礎。
局限與未來研究方向

未來將探索更精確的自適應改寫策略選擇方法。
將擴展更多樣化的改寫策略，以構建更全面的策略池。

Stats

在 FreshQA 資料集上，DMQR-RAG 的 P@5 相較最佳基準提升了 14.46%。
在 HotpotQA 資料集上，DMQR-RAG 的效能提升了約 8%。
在 AmbigNQ 資料集上，DMQR-RAG 的 EM 和 F1 分數分別比最佳基準高出 1.30% 和 3.74%。
在 FreshQA 資料集上，DMQR-RAG 的準確率比 Rewrite 高出 5.84%。
使用自適應策略選擇後，Llama3-8B 和 GPT-4 的平均改寫次數分別減少至 2.482 和 2.455 次，降幅接近 40%。
在實際產業應用中，DMQR-RAG 使 H@5 平均提升 2.0%，P@5 提升 10.0%，正確率提升 4%。

Key Insights Distilled From

DMQR-RAG: Diverse Multi-Query Rewriting for RAG

by Zhicong Li, ... at arxiv.org 11-21-2024

https://arxiv.org/pdf/2411.13154.pdf

Deeper Inquiries

在未來，如何將 DMQR-RAG 框架應用於其他自然語言處理任務，例如文件摘要、機器翻譯等？

DMQR-RAG 框架的核心思想是通過多樣化的查詢改寫來提高資訊檢索的效率，進而提升下游任務的效能。這種思想可以應用於許多其他的自然語言處理任務，以下列舉文件摘要和機器翻譯為例：
1. 文件摘要：

將文件視為一個大型知識庫，將摘要任務轉化為基於查詢的資訊提取任務。 可以將使用者想要了解的摘要重點視為查詢，利用 DMQR-RAG 生成多樣化的改寫查詢，從而從文件中提取更全面、更準確的資訊，最終生成高品質的摘要。
針對不同長度和重點的摘要需求，設計不同的改寫策略。 例如，針對需要概括全文重點的摘要，可以使用「資訊縮減」策略提取核心內容；針對需要關注特定方面的摘要，可以使用「資訊擴展」策略，在查詢中加入相關的背景知識。
2. 機器翻譯：

將源語言句子視為查詢，目標語言句子視為待檢索的資訊。 可以利用 DMQR-RAG 生成多樣化的源語言句子改寫，從而從平行語料庫中檢索到更符合語義和語境的目標語言翻譯結果。
針對不同的翻譯目標和風格，設計不同的改寫策略。 例如，針對需要保持原文風格的翻譯，可以使用「資訊平等」策略進行改寫；針對需要更加口語化或正式化的翻譯，可以使用「資訊擴展」策略，在查詢中加入相應的風格標籤或詞彙。
總之，DMQR-RAG 框架的應用不僅限於問答系統，其核心思想可以靈活地遷移到其他需要資訊檢索的自然語言處理任務中，通過設計針對性的改寫策略，可以有效提升這些任務的效能。

如果使用者查詢本身就非常簡潔明確，那麼 DMQR-RAG 是否仍然能夠帶來顯著的效能提升？

如果使用者查詢本身就非常簡潔明確，DMQR-RAG 帶來的效能提升可能不如處理含糊或複雜查詢時顯著。這是因為：

簡潔明確的查詢已經能夠很好地表達使用者意圖，過多的改寫反而可能引入雜訊。 DMQR-RAG 的優勢在於處理資訊不足或有偏差的查詢，對於本身已經很清晰的查詢，過度改寫可能偏離使用者原本的意圖，導致檢索到不相關的文件。

現有的檢索系統對於處理簡潔明確的查詢已經相當成熟。 對於這類查詢，傳統的檢索方法通常已經能夠取得不錯的效果，DMQR-RAG 帶來的額外提升可能相對有限。

然而，即使在查詢本身比較清晰的情況下，DMQR-RAG 仍然具備以下潛在優勢：

發掘使用者潛在需求： 有些時候使用者自己也無法完全明確自己的需求，DMQR-RAG 可以通過多樣化的改寫，幫助使用者更好地理解自己的需求，並提供一些使用者可能沒有想到的相關資訊。

提升檢索結果的多樣性： 即使查詢本身很明確，DMQR-RAG 仍然可以通過不同的改寫策略，從不同的角度來理解查詢，從而返回更多樣化的檢索結果，避免資訊單一。

總之，對於簡潔明確的查詢，DMQR-RAG 帶來的效能提升幅度可能不如處理複雜查詢時顯著，但仍然具備一定的價值。在實際應用中，可以根據具體情況來決定是否使用 DMQR-RAG，或者調整改寫策略，以達到最佳的效能。

如何設計一種更輕量級的改寫策略選擇方法，以降低計算成本並提升效率？

設計更輕量級的改寫策略選擇方法，可以從以下幾個方面入手：

利用查詢分類預先篩選策略： 可以訓練一個輕量級的查詢分類模型，根據查詢的語義和意圖，將其歸類到不同的类别，例如「事實型查詢」、「定義型查詢」、「意見型查詢」等。然後，針對不同類型的查詢，預先設定好適合的改寫策略組合，避免在所有策略中進行選擇，從而減少計算量。

設計基於規則的快速選擇方法： 可以根據查詢的詞性、關鍵詞、依存關係等特徵，設計一些簡單的規則來快速判斷適合的改寫策略。例如，如果查詢中包含很多名詞，可以優先考慮使用「關鍵詞改寫」策略；如果查詢中包含比較明顯的時間、地點等資訊，可以優先考慮使用「資訊擴展」策略加入相關背景知識。

採用知識蒸餾壓縮模型： 可以使用知識蒸餾技術，將大型語言模型的改寫策略選擇能力遷移到一個更小的模型上。具體來說，可以使用大型語言模型作為教師模型，訓練一個輕量級的學生模型來模擬教師模型的策略選擇行為。這樣，在實際應用中，就可以使用這個輕量級的學生模型來進行策略選擇，從而降低計算成本。

結合強化學習進行線上學習： 可以將改寫策略選擇問題建模為一個強化學習問題，通過與環境互動，不斷優化策略選擇的策略。例如，可以使用線上使用者點擊數據作為獎勵信號，訓練一個輕量級的強化學習代理，讓它學習在不同的查詢下選擇最優的改寫策略組合。

通過以上方法的結合，可以設計出更加輕量級的改寫策略選擇方法，在保證改寫效果的同時，降低計算成本，提升效率。