微妙錯誤至關重要：透過錯誤注入自我編輯進行偏好學習

Keskeiset käsitteet

大型語言模型 (LLM) 雖然在數學推理方面展現出強大的能力，但經常出現的細微錯誤限制了它們的潛力。本文提出了一種稱為錯誤注入自我編輯 (RISE) 的新穎偏好學習框架，透過將預先定義的細微錯誤注入到正確解決方案的部分標記中，以構建用於錯誤緩解的困難配對，從而提高 LLM 的數學推理能力。

Tiivistelmä

文獻綜述

研究背景

大型語言模型（LLM）在數學推理方面展現出顯著的能力，能夠處理從基礎算術到複雜競賽級別的問題。然而，頻繁出現的細微錯誤，例如計算錯誤或錯誤替換，限制了這些模型充分發揮其數學潛力。

現有方法及局限性

現有提高數學能力的研究通常涉及從更強大的 LLM 中提取推理技巧，或將偏好學習應用於逐步響應對。這些方法利用不同粒度的樣本來減輕推理錯誤，但忽略了經常出現的細微錯誤。主要原因是採樣的偏好對涉及與錯誤無關的差異，這可能會分散模型對細微錯誤的關注。此外，建立細粒度對內的偏好關係需要額外的基於 LLM 的註釋或近似估計，這可能會引入偏差。

研究動機

除了採樣偏好對並註釋它們的關係之外，生成正確的解決方案並將錯誤注入其中是構建專門針對細微錯誤的對的有效方法。首先，錯誤注入可以在保留解決方案整體結構的同時將錯誤引入少量標記中。這種與正確解決方案差異有限的錯誤注入樣本，可以被視為偏好學習的困難負例。其次，我們可以利用 LLM 本身使用適當的提示來注入預定義的錯誤。與隨機採樣的對相比，基於注入錯誤的對更易於控制，允許偏好學習專注於設計的、目標明確的細微錯誤。

研究方法

錯誤注入自我編輯（RISE）框架

本文提出了一種稱為錯誤注入自我編輯（RISE）的新穎偏好學習框架。其關鍵思想是提示 LLM 將錯誤注入到正確的解決方案中，並構建針對預定義的細微錯誤的困難配對，以進行偏好學習。具體來說，首先應用 LLM 生成多個多步驟解決方案，並構建由一個正確解決方案和一個錯誤解決方案組成的完整解決方案對。然後，選擇正確的解決方案，並編輯解決方案的每個步驟以注入細微錯誤。使用相同的模型進行錯誤注入編輯，因為它可能更好地識別最容易出錯的標記。設計了幾種類型的細微錯誤，並修改了一些標記以引入這些錯誤。將編輯後的步驟和相應的正確步驟收集為自我編輯對。最後，將自我編輯對和完整解決方案對的組合用於細微錯誤感知的 DPO 訓練。

細微錯誤感知的 DPO 訓練

在給定所有自我編輯對和完整解決方案對的情況下，應用 DPO 來優化模型。具體來說，首先從每個問題的所有自我編輯對中隨機選擇 N 對，並將它們與完整解決方案對組合在一起，總共將有 N+1 對作為訓練集。為了有效地學習每個步驟中的細微錯誤，對自我編輯對採用了逐步 DPO 損失，因為它可以專注於細粒度偏好學習，而對完整解決方案對採用了一般 DPO 損失。為了減輕由於配對樣本高度相似而導致的優化失敗的風險，額外引入了針對正確樣本的負對數似然損失。這種損失可以幫助防止生成正確樣本的概率崩潰。

實驗結果

評估數據集

在三個領域內數據集（GSM8k、MATH 和 AQuA）和三個領域外數據集（SVAMP、AIME24 和 Odyssey-MATH）上評估了 RISE 框架。這些數據集涵蓋了廣泛的數學問題，從基礎算術到高級競賽級別的問題。

主要結果

RISE 在不同規模上都優於最先進的模型。這些結果突出了 RISE 框架的潛力，可以幫助通用 LLM 成為數學通才。在幾個數據集上，RISE-QWEN2-72B 和 RISE-LLAMA-3.1-70B 甚至優於一些閉源 LLM。

細微錯誤分析

與標準 DPO 相比，RISE 框架額外減少了預定義錯誤的數量。特別是對於數字或符號替換錯誤和計算項的遺漏，RISE 減少了錯誤的數量，而標準 DPO 則沒有做到這一點。

自我編輯對的影響

自我編輯對對於細粒度偏好學習至關重要，特別是在減輕細微錯誤方面。使用更多自我編輯對並不總是更好的選擇，需要同時考慮準確性和使用額外樣本的訓練成本。

採樣嘗試的影響

隨著採樣嘗試次數的增加，與配對的正確和錯誤完整解決方案相對應的問題數量也會增加。儘管更多問題參與了偏好學習，但最終結果表明，與更多問題相對應的對實際上降低了學習性能。

不同錯誤注入組合的影響

具有不同預定義錯誤的樣本更有可能幫助 LLM 學習避免細微錯誤。

結論

本文提出了一種稱為錯誤注入自我編輯（RISE）的新穎偏好學習框架，該框架通過自我編輯構建困難配對，以減輕預定義的細微錯誤。與其他細粒度、逐步偏好學習方法相比，RISE 框架進一步完善了訓練目標，以針對細微錯誤標記，而不需要基於 LLM 或基於估計的偏好註釋。為了避免由於過於相似的偏好對而導致的優化失敗，額外引入了負對數似然損失，由正確樣本的生成概率控制。在兩個 LLM 系列（Qwen2 和 Llama-3.1）中證明了 RISE 框架的有效性。跨多個數學數據集的結果表明，RISE 方法可以釋放模型在數學推理方面的潛力。

Tilastot

細微錯誤，例如計算錯誤、錯誤替換等，佔 LLM 數學推理錯誤的 75%。
RISE-QWEN2-7B 在 GSM8K 上取得了 3.0% 的準確率提升，在 MATH 上取得了 7.9% 的提升。
RISE-LLAMA-3.1-8B 在 GSM8K 上取得了 3.9% 的準確率提升，在 MATH 上取得了 2.7% 的提升。
RISE-QWEN2-72B 和 RISE-LLAMA-3.1-70B 的性能與甚至超過了一些最先進的閉源 LLM。
與標準 DPO 相比，RISE 在 MATH 數據集上將數字或符號替換錯誤的數量減少了約 200 個，將計算項遺漏的數量減少了約 100 個。

Lainaukset

"These errors, such as miscalculations, incorrect substitutions, and omission of calculation terms, account for approximately 75% of the total errors."
"Compared with other preference learning methods, RISE further refines the training objective to focus on predefined errors and their tokens, without requiring fine-grained sampling or preference annotation."
"Our method RISE-QWEN2-7B achieves a 3.0% accuracy gain on GSM8K and 7.9% on MATH, and RISE-LLAMA-3.1-8B achieves 3.9% and 2.7%, respectively."

Tärkeimmät oivallukset

Subtle Errors Matter: Preference Learning via Error-injected Self-editing

by Kaishuai Xu,... klo arxiv.org 10-10-2024

https://arxiv.org/pdf/2410.06638.pdf

Syvällisempiä Kysymyksiä

如何將 RISE 框架應用於其他容易出現細微錯誤的領域，例如程式碼生成或機器翻譯？

RISE 框架的核心思想是通過注入預定義的細微錯誤來構建困難樣本，並利用偏好學習來提升模型對這些錯誤的識別和避免能力。這種思想可以應用於其他容易出現細微錯誤的領域，例如程式碼生成或機器翻譯。
程式碼生成：

細微錯誤類型： 程式碼生成中常見的細微錯誤包括語法錯誤（例如，缺少分號）、變數名錯誤（例如，拼寫錯誤或作用域錯誤）、邏輯錯誤（例如，條件判斷錯誤）等。
錯誤注入： 可以根據預定義的錯誤類型，修改正確程式碼中的少量 token 來注入錯誤。例如，可以替換變數名、修改運算符、刪除或插入語句等。
偏好學習： 使用修改後的錯誤程式碼和原始正確程式碼構建偏好學習資料集，訓練模型分辨正確和錯誤程式碼，並提升模型生成正確程式碼的概率。
機器翻譯：

細微錯誤類型： 機器翻譯中常見的細微錯誤包括詞彙選擇錯誤（例如，選用不符合語境的近義詞）、語法錯誤（例如，時態或單複數錯誤）、語義錯誤（例如，翻譯結果與原文意思有偏差）等。
錯誤注入： 可以通過替換詞彙、調整語序、修改語法結構等方式注入錯誤。
偏好學習： 使用修改後的錯誤譯文和原始正確譯文構建偏好學習資料集，訓練模型分辨優劣譯文，並提升模型生成更準確、流暢譯文的概率。
需要注意的是，在應用 RISE 框架時，需要根據具體領域的特点設計相應的錯誤類型、錯誤注入策略和偏好學習方法。

如果 LLM 生成的解決方案中存在其他類型的錯誤，例如邏輯錯誤或概念錯誤，RISE 框架是否仍然有效？

RISE 框架主要針對的是解決方案中出現的細微錯誤，這些錯誤通常只是涉及到少量 token 的修改，例如數值計算錯誤、符號替換錯誤等。對於邏輯錯誤或概念錯誤這類更宏觀、更複雜的錯誤，RISE 框架的效果可能有限。
這是因為：

細微錯誤的局部性： 細微錯誤通常具有局部性，修改少量 token 就能將正確步驟轉變為錯誤步驟，反之亦然。而邏輯錯誤或概念錯誤可能涉及到整個解決方案的邏輯結構或對問題本身的理解，難以通過修改少量 token 來模擬。
錯誤注入的困難性： 對於邏輯錯誤或概念錯誤，設計有效的錯誤注入策略更加困難。簡單地修改少量 token 可能無法產生合理的錯誤樣本，反而會影響模型的訓練效果。
因此，如果 LLM 生成的解決方案中存在較多的邏輯錯誤或概念錯誤，僅憑藉 RISE 框架可能無法有效提升模型的推理能力。需要結合其他方法，例如：

增強資料集： 使用包含更多樣邏輯推理步驟和概念理解的資料集進行訓練。
多步驟推理： 鼓勵模型進行更深層次的多步驟推理，例如使用 Chain-of-Thought prompting 或強化學習等方法。
外部知識整合： 引入外部知識庫或工具，幫助模型更好地理解問題和進行推理。

如何設計更有效的錯誤注入策略，以更好地模擬 LLM 在數學推理過程中可能遇到的各種錯誤？

更有效的錯誤注入策略需要考慮以下幾個方面：

錯誤類型分析： 對 LLM 在數學推理過程中常見的錯誤類型進行深入分析，建立更全面、更精細的錯誤類型分類體系。除了 RISE 框架中提到的錯誤類型，還應考慮其他類型的錯誤，例如單位錯誤、公式套用錯誤、推理步驟缺失等。
錯誤分佈模擬： 分析不同錯誤類型在實際解決方案中的出現頻率和分佈規律，設計錯誤注入策略時應盡可能模擬真實的錯誤分佈，避免過度關注某些特定類型的錯誤。
上下文敏感性： 錯誤的出現往往與上下文密切相關。設計錯誤注入策略時應考慮上下文資訊，例如問題描述、推理步驟、已知條件等，使得注入的錯誤更加自然、合理。
多樣性： 針對同一種錯誤類型，可以設計多種不同的錯誤注入方式，增加錯誤樣本的多樣性，避免模型過擬合到特定的錯誤模式。
可控性： 錯誤注入策略應具備一定的可控性，可以根據需要調整錯誤的數量、類型和難度，以便更好地控制模型的訓練過程。

此外，可以借鉴一些程式碼生成領域的錯誤注入方法，例如：

變異測試： 通過對正確程式碼進行微小的修改（例如，修改運算符、替換變數名等）來生成錯誤程式碼，可以用於測試程式碼的健壯性和測試用例的覆蓋率。
故障注入： 在程式碼中注入特定的故障（例如，模擬網路錯誤、硬體故障等），可以用於測試系統的容錯能力和故障恢復能力。
將這些方法應用於數學推理領域，可以設計出更加有效、合理的錯誤注入策略，幫助 LLM 更好地學習和避免各種錯誤。