偵測基準：大型語言模型能否偵測並整合隱性證據？

核心概念

大型語言模型在偵測和整合隱性證據方面能力不足，但透過「偵探式推理」的提示和微調方法，可以有效提升其在長文本中進行多步驟常識推理的能力。

摘要

論文摘要

本研究論文介紹了一個名為「偵測基準」（DetectBench）的評測基準，用於評估大型語言模型（LLM）在長文本中偵測和整合隱性證據的能力。研究發現，現有LLM在處理這項任務時表現遠遜於人類。為了解決這個問題，研究團隊提出了一種名為「偵探式推理」（Detective Reasoning）的新方法，透過設計特殊的提示和微調策略，引導LLM像偵探一樣逐步分析文本、尋找線索、推理出答案。實驗結果顯示，「偵探式推理」能有效提升LLM的證據偵測能力，進而提升其在長文本中進行多步驟常識推理的表現。

研究背景

推理是人類智慧的重要體現，而從文本中偵測和整合證據則是推理的關鍵步驟。現有的評測基準大多側重於評估LLM的推理能力，而較少關注其證據偵測能力。此外，這些基準中的證據往往過於明顯，容易透過簡單的規則匹配找到，與現實世界中隱晦分散的證據相去甚遠。

DetectBench 介紹

DetectBench 的設計理念源於偵探辦案的過程：從大量看似無關的資訊中，找出關鍵證據，逐步推理，最終破案。該基準包含 3,928 道選擇題，每道題都搭配一段平均 994 個詞的文本，並標註了平均 4.55 個隱性證據。

DetectBench 的特點：

1. 與問題答案相關的證據無法透過問題和選項中的字元或字串直接匹配找到。
2. 需要結合多個證據才能推理出正確答案。
3. 每道題都包含詳細的人工標註，涵蓋證據、推理過程和答案。

偵探式推理

「偵探式推理」旨在引導LLM像偵探一樣，透過逐步深入的邏輯推理，從文本中找出關鍵資訊並得出準確答案。

偵探式推理包含四個階段：

1. 證據偵測: 引導LLM找出文本中所有可能與問題相關的證據。
2. 證據關聯: 引導LLM理解各個證據之間的內在聯繫，並根據已找到的證據生成新的相關想法。
3. 答案啟發: 引導LLM從所有證據中找出對回答問題至關重要的證據，並圍繞這些證據進行推理，從而得到可能的答案。
4. 加權推理: 引導LLM在確定最終答案時，更多地依賴於其生成的推理過程，而非僅僅依賴於整體文本。

實驗結果

實驗結果顯示，「偵探式推理」能有效提升LLM的證據偵測能力，進而提升其在長文本中進行多步驟常識推理的表現。

主要發現：

1. 現有LLM在證據偵測方面表現不佳，即使是最先進的GPT-4也與人類表現相差甚遠。
2. 證據偵測能力與推理能力高度相關，證據偵測能力越強，推理表現越好。
3. 「偵探式推理」的提示和微調方法都能有效提升LLM的證據偵測能力和推理能力。

研究限制

DetectBench 的數據規模和複雜度與現實世界相比仍有差距。「偵探式推理」方法主要適用於需要從長文本中提取和推理相關證據的任務，在短文本場景下的效果可能有限。

倫理考量

偵探推理題材可能涉及謀殺、盜竊等敏感話題，需注意避免LLM因安全設定而拒絕回答問題，或因接觸此類數據而放大安全漏洞。

統計資料

DetectBench 包含 3,928 道選擇題。
每道題搭配一段平均 994 個詞的文本。
每道題標註了平均 4.55 個隱性證據。
GPT4-Turbo 的平均 RougeL-F 得分僅為 44.4。
開源模型 ChatGLM3 和 Llama2 的 RougeL-F 得分分別為 9.71 和 10.7。
直接告知 GPT4 正確答案，其答案準確率可達 99%。
直接告知 GPT4 證據內容，其證據偵測準確率僅提升至 65.4%。
使用「偵探式微調」方法，Llama2-base 模型在 DetectBench 和 HotPotQA 上的 RougeL-F 得分分別提升至 38.6 和 37.2。
使用「偵探式微調」方法，Llama2-Chat 模型在 DetectBench 和 ReClor 上的推理準確率分別提升至 58.3% 和 45.5%。

引述

"Detecting evidence within the context is a key step in the process of reasoning task."
"Identifying evidence often poses a more significant challenge than reasoning, as it necessitates a deeper understanding of the question and context."
"The ability to perform reasoning over natural language is an important aspect of intelligence."

從以下內容提煉的關鍵洞見

DetectBench: Can Large Language Model Detect and Piece Together Implicit Evidence?

by Zhouhong Gu,... 於 arxiv.org 11-12-2024

https://arxiv.org/pdf/2406.12641.pdf

深入探究

如何將「偵探式推理」方法應用於其他自然語言處理任務，例如文本摘要、機器翻譯等？

「偵探式推理」的核心概念是從大量資訊中，透過多步驟的邏輯推理，找出關鍵證據並得出結論。這種方法可以應用於其他自然語言處理任務，例如：
1. 文本摘要：

證據偵測： 將「偵探式推理」應用於文本摘要，可以將每個句子視為潛在的「證據」，透過模型分析句子之間的語義關聯、重要性以及與主題的相關性，找出關鍵句子。
邏輯推理： 模型可以根據關鍵句子的邏輯關係，例如時間順序、因果關係、層級關係等，將其組織成一個簡潔、流暢且保留原文核心資訊的摘要。
2. 機器翻譯：

證據偵測： 在機器翻譯中，「證據」可以是原文中的詞彙、語法結構、文化背景等。模型需要準確理解這些「證據」的含義，才能進行準確的翻譯。
邏輯推理： 模型需要根據原文的邏輯結構和語義信息，選擇最合适的翻譯方式，例如調整語序、增減詞彙、轉換表達方式等，以確保譯文自然流暢，符合目標語言的習慣。
總之，「偵探式推理」為其他自然語言處理任務提供了一種新的思路，透過訓練模型像偵探一樣分析、推理文本信息，可以有效提升模型的理解和生成能力。

若文本中存在錯誤或矛盾的資訊，LLM 如何準確地進行證據偵測和推理？

文本中存在錯誤或矛盾的資訊，的確會對 LLM 的證據偵測和推理造成很大挑戰。以下是一些可能的解決方案：
1. 增强模型的錯誤檢測能力：

訓練數據： 在訓練數據中加入包含錯誤或矛盾資訊的樣本，並標注出這些錯誤，讓模型學習如何識別這類資訊。
多源驗證： 模型可以利用外部知識庫或其他可靠來源對文本資訊進行交叉驗證，識別潛在的錯誤或矛盾。
矛盾檢測模組： 可以為 LLM 設計專門的矛盾檢測模組，利用邏輯推理、語義分析等技術，自動識別文本中的矛盾之處。
2. 提升模型的推理能力：

不確定性推理： 當模型發現文本中存在錯誤或矛盾資訊時，可以採用不確定性推理的方式，例如概率推理、模糊推理等，對不同的可能性進行評估，並選擇最合理的解釋。
多角度分析： 模型可以嘗試從不同的角度分析問題，例如考慮不同的上下文、不同的假設等，以减少錯誤資訊的影響。
尋求幫助： 當模型無法自行解決問題時，可以選擇向人類使用者尋求幫助，例如提出澄清問題、要求提供更多資訊等。
總之，處理錯誤或矛盾資訊是 LLM 面臨的一個重要挑戰，需要結合多種技術手段來提升模型的魯棒性和可靠性。

如何設計更貼近現實世界、更具挑戰性的評測基準，以促進 LLM 證據偵測和推理能力的發展？

現有的評測基準，例如 DetectBench，雖然在一定程度上可以評估 LLM 的證據偵測和推理能力，但與現實世界相比，仍然存在一定的差距。為了促進 LLM 朝著更實用、更强大的方向發展，可以從以下幾個方面設計更貼近現實世界、更具挑戰性的評測基準：
1. 數據來源和場景多樣化：

真實文本： 採用新聞報導、法律文件、科學文獻等真實文本作為數據來源，而不是僅僅依靠人工編寫的推理題目。
多模態資訊： 將文本與圖像、音頻、視頻等多模態資訊結合起來，構建更豐富、更貼近現實世界的推理場景。
動態更新： 評測基準應該隨著時間推移不斷更新，加入新的數據和場景，以反映 LLM 應用的最新進展。
2. 任務複雜度和難度提升：

多步驟推理： 設計需要多步驟推理才能解決的複雜問題，例如需要整合多個證據、進行多層次推理等。
隱含資訊推理： 要求模型不僅能理解文本中的顯性資訊，還要能挖掘隱含的語義和邏輯關係，進行更深層次的推理。
常識知識和世界知識應用： 設計需要應用常識知識和世界知識才能解決的問題，例如需要理解社會規範、文化背景、歷史事件等。
3. 評估指標多元化：

可解釋性： 除了評估模型的推理結果是否正確，還要評估模型的推理過程是否合理、可解釋，以便於人類理解和信任模型的決策。
魯棒性： 評估模型在面對噪聲、錯誤、攻擊等不利條件下的表現，以及模型的泛化能力和適應性。
效率： 評估模型的推理速度和資源消耗，以滿足實際應用中的效率需求。
總之，設計更貼近現實世界、更具挑戰性的評測基準，對於促進 LLM 證據偵測和推理能力的發展至關重要。