LEAF：透過事實查核增強學習和評估以提高大型語言模型的事實準確性

核心概念

LEAF 透過結合事實查核和檢索增強生成，以及透過自我訓練從事實查核中學習，提高了大型語言模型在醫學問答等知識密集型領域的準確性和可靠性。

摘要

LEAF：透過事實查核增強學習和評估以提高大型語言模型的事實準確性

這篇研究論文介紹了 LEAF，這是一種新穎的方法，旨在透過事實查核增強學習和評估，從而提高大型語言模型 (LLM) 的事實可靠性，特別關注於醫學問答 (QA)。

LEAF 的雙重策略

LEAF 採用雙重策略來提高 LLM（例如 Llama 3 70B Instruct 和 Llama 3 8B Instruct）回應的事實準確性：

1. 事實查核後進行檢索增強生成 (Fact-Check-Then-RAG)：透過整合事實查核結果來指導檢索過程，從而改進檢索增強生成 (RAG)，而無需更新模型參數。
2. 透過自我訓練從事實查核中學習 (Learning from Fact-Checks via Self-Training)：涉及對事實查核後的回應進行監督式微調 (SFT)，或應用簡單偏好優化 (SimPO) 並將事實查核作為排名機制，這兩種方法都透過監督來更新 LLM 參數。

LEAF 機制如何運作

LEAF 機制 I：事實查核後進行檢索增強生成

此機制將事實查核階段與檢索增強生成 (RAG) 無縫整合。它利用在事實查核過程中檢索到的文件來增強回應的生成。其主要思想是利用從事實查核階段檢索到的知識，特別是針對未通過事實查核測試的個別事實。當檢索到的知識來源不支持某項事實時，此策略會將相關文件包含在 RAG 提示中，以幫助 LLM 改進其推理或答案，從而有可能提高效能。

LEAF 機制 II：透過自我訓練從事實查核中學習

此方法包括兩個主要部分：對事實正確的回應進行監督式微調，以及使用簡單偏好優化進行優化。

• 對事實正確的回應進行監督式微調：這部分涉及使用已通過事實查核測試的回應對模型進行微調，確保模型在經過驗證的準確資訊上進行訓練，從而提高其整體效能。
• 使用 SimPO 進行優化：自我訓練方法的第二部分利用簡單偏好優化 (SimPO) 根據事實準確性對回應進行排名和優化。SimPO 將獎勵公式與生成指標直接對齊，無需參考模型。

實驗結果

實驗結果顯示，LEAF 不僅可以有效地檢測不準確的回應，還可以顯著提高模型的準確性。這些發現表明，整合事實查核後的回應（無論是透過 RAG 增強還是自我訓練）都可以提高 LLM 輸出的可靠性和事實正確性，為資訊準確性至關重要的應用程式提供了一種有前景的解決方案。

統計資料

在所有五個醫學資料集上，使用 LEAF 事實查核系統過濾回應後，與原始模型準確性和基準 Factcheck-GPT 相比，準確性顯著提高。
與原始模型效能相比，FC-RAG 方法在所有資料集上的準確性都有提高：USMLE 提高 4.99%，MMLU-Medical 提高 1.66%，PubMedQA 提高 13.0%，BioASQ 提高 7.28%，MedMCQA 提高 1.56%。
與原始模型效能相比，使用 LEAF 進行 SFT 的方法顯示出顯著的改進：USMLE 提高 4.71%，MMLU-Medical 提高 4.87%，PubMedQA 提高 6.60%，BioASQ 提高 4.53%，MedMCQA 提高 2.97%。
與使用 ArmoRM 排名的回應相比，對 LEAF 排名的回應進行 SimPO 優化會產生更好的效能。具體來說，使用 LEAF 的 SimPO 方法顯示出顯著的改進：與原始模型效能相比，USMLE 提高 4.08%，MMLU-Medical 提高 2.67%，PubMedQA 提高 6.80%，BioASQ 提高 7.45%，MedMCQA 提高 2.89%。

引述

從以下內容提煉的關鍵洞見

LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models

by Hieu Tran, J... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2410.23526.pdf

深入探究

除了醫學問答之外，LEAF 方法在其他領域（例如法律或金融）的應用前景如何？

LEAF 方法在其他需要高度事實準確性的領域，例如法律或金融，具有相當大的應用前景。以下列舉一些潛在應用：

法律文件分析與事實查核： LEAF 可以用於分析法律文件，例如合約、判決書等，並查核其中陳述的事實是否準確。這對於律師、法官和法律研究人員來說非常有用。
金融數據分析與風險評估： LEAF 可以用於分析金融數據，例如公司財報、市場趨勢等，並查核其中數據的準確性。這對於投資者、分析師和監管機構來說非常重要。
新聞真實性檢測： LEAF 可以用於檢測新聞報導的真實性，識別虛假新聞和錯誤信息。這對於維護新聞媒體的公信力和打擊虛假信息傳播至關重要。
然而，將 LEAF 應用於其他領域也面臨一些挑戰：

領域特定知識庫的建立： LEAF 需要訪問特定領域的知識庫才能進行事實查核。建立和維護這些知識庫需要大量的時間和資源。
處理複雜推理和模糊性的能力： 法律和金融領域通常涉及複雜的推理和模糊的概念。LEAF 需要進一步提升處理這些問題的能力。

如果用於事實查核的知識庫本身存在偏差或不準確性，LEAF 如何減輕潛在的風險？

知識庫的偏差或不準確性確實會影響 LEAF 的效能，以下是一些減輕潛在風險的方法：

使用多個來源進行交叉驗證： LEAF 可以使用多個知識庫進行事實查核，並比較不同來源的結果，以減少單一來源偏差的影響。
評估知識庫的可靠性和可信度： 在選擇知識庫時，需要評估其來源、更新頻率、編輯政策等因素，以確保其可靠性和可信度。
允許用戶提供反饋和修正： LEAF 可以允許用戶對事實查核結果提供反饋和修正，並將這些信息用於改進系統。
開發更強大的模型以識別偏差： 可以開發更強大的模型，用於識別知識庫中的偏差和不準確性，並對其進行標記或修正。

LEAF 如何啟發設計更具可解釋性和透明度的事實查核增強型 LLM？

LEAF 的設計理念可以啟發設計更具可解釋性和透明度的事實查核增強型 LLM：

提供詳細的事實查核過程： LEAF 可以提供詳細的事實查核過程，包括查詢的生成、知識庫的检索、證據的匹配等，讓用戶了解系統是如何得出結論的。
可視化證據和推理路徑： LEAF 可以使用圖表或其他可視化方式，向用戶展示支持或反駁特定事實的證據，以及系統的推理路徑。
允許用戶調整參數和規則： LEAF 可以允許用戶調整參數和規則，例如知識庫的權重、證據匹配的閾值等，讓用戶更好地控制系統的行為。
開發新的評估指標： 除了準確性之外，还需要開發新的評估指標來衡量事實查核增強型 LLM 的可解釋性和透明度。
總之，LEAF 為設計更可靠、可解釋和透明的事實查核增強型 LLM 提供了寶貴的經驗和啟示。