核心概念
大型語言模型生成的答案即使最終結果正確,其推理過程也經常存在錯誤,因此需要一種能夠評估推理過程有效性的答案驗證方法。
論文信息
作者:Akira Kawabata, Saku Sugawara
發表日期:2024年10月7日
研究目標
本研究旨在探討如何構建能夠識別推理過程有效性的答案驗證器,以解決大型語言模型生成的答案推理過程中存在的錯誤問題。
研究方法
研究人員首先使用GPT-4對大型語言模型生成的答案進行評估,分析其推理過程的有效性。
他們創建了不同推理質量的訓練數據集,用於訓練驗證器模型。
研究人員提出了一種名為REPS(通過成對選擇增強推理)的方法,利用大型語言模型的成對比較來迭代地從多個候選答案中選擇高質量的推理過程。
主要發現
研究發現,即使最終答案正確,很大一部分模型生成的答案的推理過程仍然存在錯誤。
使用REPS方法訓練的驗證器在選擇具有有效推理的答案方面顯著優於基於最終答案正確性訓練的基線驗證器。
主要結論
訓練可靠的驗證器需要確保推理過程的有效性,而不僅僅是最終答案的正確性。
REPS方法可以有效地提高驗證器識別有效推理的能力,從而提高答案驗證的可靠性。
研究意義
本研究對於構建更可靠的答案驗證系統具有重要意義,特別是在需要模型協助人類完成複雜推理任務的場景下。
局限與未來研究方向
本研究僅在三個推理數據集上進行了實驗,未來需要在更多樣化的數據集上進行評估。
REPS方法中使用的成對評估可能會放大模型自身的偏見,例如偏向於選擇較長的推理過程,未來需要探索減輕這些偏見的方法。
統計資料
在 StrategyQA 數據集中,雖然 59% 的模型生成答案包含正確答案,但只有 19% 的正確答案答案被判斷為具有有效的推理路徑。
在 ARC-Challenge 數據集中,REPS 訓練的驗證器在識別有效推理方面的表現顯著優於基線設置,準確率提高了 14.1%。
在 StrategyQA 數據集中,REPS 訓練的驗證器在識別有效推理方面的表現優於基線設置,準確率提高了 8.8%。