利用 DECRIM 提升大型語言模型自我修正能力：分解、批判、精進，以增強多重約束條件下的指令遵循能力

Core Concepts

本文提出了一種名為 DECRIM 的自我修正流程，用於增強大型語言模型在處理包含多重約束條件指令時的效能，並引入了一個基於真實使用者請求的全新基準測試資料集 REALINSTRUCT。

Abstract

REALINSTRUCT 資料集與 LLM-as-a-Judge 的可靠性

本文介紹了 REALINSTRUCT，一個由真實使用者產生的指令組成的新穎資料集，每個指令都被分解成任務和一組約束條件。REALINSTRUCT 資料集的獨特之處在於它捕捉了真實使用者與 AI 助手的互動，提供了更貼近現實世界使用情境的資料。

由於 REALINSTRUCT 基準測試指令的開放性，基於規則或參考的評估方法並不可行。因此，本文採用了 LLM-as-a-Judge 評估協定，並透過引入 EvalJudge 測試集來評估 LLM-as-a-Judge 的可靠性。

研究結果顯示，GPT-4-Turbo 搭配 CoT 提示是成本效益高且可靠的評估方法，而開放原始碼模型在作為 LLM-as-a-Judge 的角色上表現不佳。

DECRIM 自我修正流程

為了提升大型語言模型在處理多重約束條件指令時的效能，本文提出了 DECRIM（DECOMPOSE, CRITIQUE, AND REFINE）自我修正流程。

DECRIM 流程將原始指令分解成主要任務和細粒度的約束條件，並透過 Critic 模型判斷回應是否需要精進。

實驗結果與討論

實驗結果顯示，即使是像 GPT-4 這樣強大的專有模型，在超過 21% 的指令中，至少有一個約束條件未被滿足，這顯示出 REALINSTRUCT 的挑戰性，以及專有和開放原始碼模型都需要進一步改進。

DECRIM 自我修正流程有效提升了開放原始碼大型語言模型的效能，尤其是在提供強大的回饋時，甚至超越了 GPT-4 的表現。

局限性與未來方向

模型評估相較於基於規則的評估方法存在一些挑戰，例如成本和資料汙染等問題。未來的研究方向包括改進 DECRIM 流程的組成部分，並將其整合到其他 System 2 方法中，以進一步提升其在需要更多時間進行生成和精進迭代的任務中的效能。

Stats

超過 21% 的指令中，GPT-4 至少有一個約束條件未被滿足。
REALINSTRUCT 測試集包含 302 個指令和 1,055 個約束條件。
IFEval 資料集中只有 6.3% 的約束條件與 REALINSTRUCT 重疊。
使用 GPT-4-Turbo 搭配 CoT 提示，成本降低了 57%，同時整體效能 (Macro F1) 提升了 7.0%，偵測未滿足約束條件的能力 (F1 Negative) 提升了 19.0%。
開放原始碼大型語言模型在作為 LLM-as-a-Judge 的角色上表現不佳，即使經過弱監督訓練，與人類評估的一致性仍然很低。
DECRIM 流程在使用 Oracle Critic 時，在 REALINSTRUCT 和 IFEval 上分別提升了 16.9% 和 20.3% 的效能。

Quotes

Key Insights Distilled From

LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints

by Thomas Palme... at arxiv.org 10-10-2024

https://arxiv.org/pdf/2410.06458.pdf

Deeper Inquiries

如何進一步提升 LLM-as-a-Judge 的評估能力，使其更貼近人類的判斷？

提升 LLM-as-a-Judge 評估能力，使其更貼近人類判斷，可以從以下幾個方面著手：

增強對約束條件的理解能力:

細化約束條件類型: 現有模型對約束條件的理解往往停留在表面，可以通過對約束條件進行更細緻的分類，例如將「語氣」細分為「幽默」、「嚴肅」、「諷刺」等，並針對不同類型的約束條件設計專門的訓練數據和評估指標，提升模型對約束條件的理解深度。
上下文理解: 許多約束條件需要結合上下文才能準確理解，例如「不要使用專業術語」需要模型理解目標受眾是誰。可以通過提供更豐富的上下文信息，例如用戶画像、對話歷史等，幫助模型更好地理解約束條件的真實含義。

提升推理和判斷能力:

引入外部知識: 人類在判斷時會調用大量的外部知識，而現有模型主要依賴訓練數據中的模式識別。可以通過知識圖譜、常識庫等外部知識庫，為模型提供更豐富的背景信息，提升其推理和判斷能力。
強化邏輯推理: 可以通過設計專門的訓練任務，例如邏輯推理、因果關係判斷等，提升模型的邏輯推理能力，使其能夠更好地理解約束條件之間的邏輯關係，例如「A 和 B 不能同時出現」等。

優化訓練數據和評估方法:

構建高質量評估數據集: 現有評估數據集規模有限，且多為人工構造，難以全面反映真實場景。可以通過收集更多真實用戶數據，並引入多輪標註、專家評審等機制，構建更貼近真實場景、更具挑戰性的評估數據集。
探索更合理的評估指標: 現有的評估指標多為單一維度，例如準確率、F1 值等，難以全面評估模型的判斷能力。可以探索更全面、更合理的評估指標，例如引入人工評估、多維度評估等，更準確地衡量模型的判斷水平。

總之，提升 LLM-as-a-Judge 的評估能力需要多方面的努力，包括模型結構、訓練數據、評估方法等多個方面。相信隨著技術的進步，LLM-as-a-Judge 的評估能力將會越來越接近人類水平。

如果使用者提供的約束條件與開發者設定的系統約束條件相衝突，DECRIM 流程该如何处理？

當使用者提供的約束條件與開發者設定的系統約束條件相衝突時，DECRIM 流程需要引入衝突檢測和處理機制，可以參考以下步驟：

衝突檢測: 在 Decompose 階段，除了將用戶指令分解成任務和約束條件外，還需要引入一個模塊，專門用於檢測用戶約束條件是否與系統約束條件相衝突。這個模塊可以基於規則匹配、分類模型等技術實現。
衝突處理: 一旦檢測到衝突，DECRIM 流程需要根據衝突的嚴重程度採取不同的處理策略：

輕微衝突: 對於輕微衝突，例如用戶要求使用某種字體，但系統不支持該字體，可以選擇忽略該約束條件，或使用相似的字體替代。
中等衝突: 對於中等衝突，例如用戶要求生成帶有歧視性言論的內容，但系統禁止生成此類內容，可以選擇拒絕用戶請求，並給出相應的解釋。
嚴重衝突: 對於嚴重衝突，例如用戶試圖利用系統漏洞攻擊其他系統，需要立即終止 DECRIM 流程，並採取必要的安全措施。

反饋與解釋: 無論採取哪種衝突處理策略，都需要向用戶提供清晰、易懂的反饋和解釋，說明衝突的原因以及系統採取的措施。

以下是一些具體的實施方案：

引入約束條件優先級: 可以為系統約束條件和用戶約束條件設定不同的優先級，當發生衝突時，優先滿足優先級更高的約束條件。
設計衝突解決策略: 可以預先設計一些通用的衝突解決策略，例如「優先滿足系統約束條件」、「與用戶協商解決方案」等，並根據具體情況選擇合適的策略。
記錄和分析衝突: 可以記錄所有發生的衝突，並分析衝突的原因、類型、解決方案等信息，為後續優化 DECRIM 流程提供數據支持。
總之，處理用戶約束條件與系統約束條件的衝突是 DECRIM 流程不可迴避的問題，需要開發者在設計和實現時充分考慮。

如何將 DECRIM 流程應用於其他自然語言處理任務，例如機器翻譯或摘要生成？

DECRIM 流程的核心思想是將複雜任務分解成多個子任務，並通過迭代優化逐步提升模型的輸出質量。這種思想可以應用於許多自然語言處理任務，例如機器翻譯和摘要生成：
1. 機器翻譯:

Decompose: 將源語言句子分解成多個短語或詞組，並識別出每個部分的語義角色和語法功能。
Critique: 使用預先定義的規則或訓練好的評估模型，評估每個部分的翻譯質量，例如是否準確、流暢、符合目標語言習慣等。
Refine: 根據 Critique 階段的反馈，對每個部分的翻譯結果進行調整，例如選擇更合适的詞彙、調整語序、添加必要的上下文信息等。
例如，將英文句子 "The cat sat on the mat." 翻譯成中文，可以分解成以下步驟：

Decompose:

主語: The cat (名詞短語)
謂語: sat (動詞)
狀語: on the mat (介詞短語)

Critique:

"The cat" 可以翻譯成 "貓"，但需要根據上下文判斷是否需要添加定冠詞 "這只" 或 "那只"。
"sat" 可以翻譯成 "坐"，但需要根據上下文判斷是否需要添加時態詞，例如 "正在"、"已經" 等。
"on the mat" 可以翻譯成 "在墊子上"，但可以考慮更簡潔的表達方式，例如 "墊子上"。

Refine: 根據 Critique 階段的反馈，最终翻译结果可以是 "那只貓坐在墊子上"。
2. 摘要生成:

Decompose: 將原文本分解成多個句子或段落，並識別出每個部分的核心信息和關鍵詞。
Critique: 使用預先定義的規則或訓練好的評估模型，評估每個部分是否重要、是否與主題相關、是否冗餘等。
Refine: 根據 Critique 階段的反馈，選擇重要的句子或段落，並對其進行改寫和整合，生成最終的摘要。
例如，要生成一篇關於 "人工智能" 的新聞報導的摘要，可以分解成以下步驟：

Decompose: 將新聞報導分解成多個句子，並識別出每個句子是否包含 "人工智能"、"機器學習"、"深度學習" 等關鍵詞。
Critique:

包含關鍵詞的句子更重要，應該優先考慮。
描述人工智能最新進展的句子比描述人工智能歷史的句子更重要。
相似的句子可以合并，避免冗餘。

Refine: 根據 Critique 階段的反馈，选择重要的句子，并对其进行改写和整合，生成最终的摘要，例如 "人工智能最新進展：xxx 公司发布了最新的人工智能模型，该模型在 xxx 任务上取得了突破性进展，有望推动人工智能技术在 xxx 领域的应用。"
總之，DECRIM 流程可以應用於多種自然語言處理任務，其核心思想是將複雜任務分解成多個子任務，並通過迭代優化逐步提升模型的輸出質量。當然，在具體應用過程中，需要根據任務的特点对 DECRIM 流程进行相应的调整和优化。