透過非對稱自我博弈進化對齊方式：超越靜態人類提示的可擴展偏好微調

核心概念

本文提出了一種新的開放式強化學習與人類回饋（RLHF）框架，稱為「透過非對稱自我博弈進化對齊」（Evolving Alignment via Asymmetric Self-Play，eva），用於改善大型語言模型（LLM）的對齊效果。eva透過一個「創造者-解決者」遊戲，讓模型在不斷進化的提示分佈上進行訓練，從而提升模型的泛化能力和對齊效果，並超越了依賴靜態人類提示的傳統RLHF方法。

摘要

論文摘要

本研究提出了一種名為「透過非對稱自我博弈進化對齊」（eva）的全新開放式 RLHF 框架，旨在解決現有 RLHF 框架在對齊大型語言模型（LLM）時，因假設提示分佈固定所導致的次優性和可擴展性限制問題。

eva 將對齊過程視為兩個玩家之間的非對稱遊戲：

1. 創造者（Creator）: 使用獎勵模型生成信息量越來越大的提示分佈。
2. 解決者（Solver）: 學習針對創造者生成的提示，產生更符合偏好的回應。

這種非對稱自我博弈的框架帶來了一種簡單有效的可擴展對齊方法，並且可以利用任何現有的 RLHF 演算法。實驗結果顯示，eva 在廣泛使用的基準測試中優於最先進的方法，並且不需要任何額外的人工設計提示。

主要貢獻

• 新原則: 提出一種用於對齊語言模型的通用開放式 RLHF 目標，該目標旨在共同優化提示分佈和回應策略，從而激勵模型自我改進，使其能夠在新的、未見過的任務上也能很好地泛化，超越初始訓練提示分佈的限制。
• 新演算法: 設計了一種透過非對稱自我博弈的實用演算法來優化目標，該演算法透過在創造者-解決者遊戲中交替優化來實現，並且可以輕鬆插入任何現有的對齊流程中。
• 最先進的效能: 在公開對齊基準測試中驗證了方法的有效性，並在與不同的偏好優化演算法（即 DPO、SPPO、SimPO、ORPO）結合使用時，展現出普遍強勁的效能提升。

eva 的運作機制

eva 透過以下步驟實現：

1. 創造者步驟:
   • 估計信息量：根據回應的對比程度評估每個提示的信息量。
   • 樣本子集：根據信息量加權抽樣一個信息豐富的提示子集。
   • 自我進化提示：基於信息豐富的提示子集進化出新的提示。
2. 解決者步驟:
   • 自我生成回應：針對進化後的提示生成多個回應。
   • 標註獎勵：為每個回應標註獎勵。
   • 偏好優化：使用標註的獎勵更新回應策略。

eva 的優勢

• 可擴展性: eva 不依賴於固定的提示分佈，因此可以隨著模型的學習不斷進化，從而提高模型的可擴展性。
• 泛化能力: eva 鼓勵模型在不同的提示分佈上進行訓練，從而提高模型的泛化能力。
• 效率: eva 可以自動生成信息豐富的提示，從而減少對人工標註的需求，提高訓練效率。

總結

eva 是一種新穎、簡單且有效的語言模型對齊框架，可以插入任何現有的對齊流程中。研究結果顯示，自我進化聯合數據分佈可以顯著提高對齊效果，而獎勵優勢可以作為一個有效的指標，指導未來提示的收集和創建，以實現更好的對齊效果。

統計資料

GEMMA2-9B-IT 在 Arena-Hard 基準測試中，使用 DPO 的勝率從 51.6% 提升至 60.1%。
GEMMA2-9B-IT 在 Arena-Hard 基準測試中，使用 SimPO 的勝率從 52.3% 提升至 60.7%。
eva 在 AlpacaEval 2.0 基準測試中，隨著獎勵模型規模的增加，對齊增益也隨之增加。

引述

“What I cannot create, I do not understand.” – Richard P. Feynman

從以下內容提煉的關鍵洞見

Evolving Alignment via Asymmetric Self-Play

by Ziyu Ye, Ris... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00062.pdf

深入探究

如何設計更有效的創造者策略，以生成更具挑戰性和信息量的提示？

設計更有效的創造者策略是提升 eva 框架性能的關鍵，以下幾個方向值得深入研究：

結合可微分創造者策略： 目前 eva 主要採用不可微分的進化算法生成提示，未來可以探索將創造者策略與強化學習或其他可微分方法結合，例如使用變分自编码器 (VAE) 或生成对抗网络 (GAN) 生成更具多樣性和控制性的提示。
引入更精細的進化算法： eva 可以借鉴更先进的进化算法，例如遗传算法或粒子群优化算法，以更高效地探索提示空间，并生成更具挑战性的提示。
結合語義和結構信息： 目前的創造者策略主要基於獎勵模型的反馈，未來可以考慮結合提示的語義和結構信息，例如使用句子嵌入、語法樹或其他語言學特征，以生成更符合語法規則和語義邏輯的提示。
探索多樣性、覆蓋範圍和外推性： 創造者策略應鼓勵生成多樣化的提示，以覆蓋更廣泛的任務和領域，並探索超出當前解決者能力範圍的提示，以促進模型的持續學習和泛化能力提升。
結合其他信息度量： 除了基於獎勵的度量，還可以探索其他信息度量，例如信息增益、貝葉斯驚訝值或費雪信息，以更全面地評估提示的信息量和學習潛力。

eva 如何應用於其他自然語言處理任務，例如機器翻譯或文本摘要？

eva 的核心思想是通過創造者和解決者的自我博弈，不斷生成新的訓練數據，並促進模型的自我提升。這種思想可以應用於許多自然語言處理任務，以下列舉機器翻譯和文本摘要的應用方向：
機器翻譯：

創造者： 可以訓練一個創造者模型，生成新的待翻譯句子，並根據當前翻譯模型的表現，選擇信息量更大、更具挑戰性的句子。例如，可以生成包含罕見詞匯、複雜語法結構或特定領域術語的句子。
解決者： 即機器翻譯模型，通過學習創造者生成的句子，不斷提升翻譯質量。
文本摘要：

創造者： 可以訓練一個創造者模型，生成新的文本，並根據當前摘要模型的表現，選擇信息量更大、更具挑戰性的文本。例如，可以生成包含多個主題、複雜事件或抽象概念的文本。
解決者： 即文本摘要模型，通過學習創造者生成的文本，不斷提升摘要的準確性和流畅度。
需要注意的是，將 eva 應用於其他自然語言處理任務需要根據具體任務的特点进行调整，例如设计合适的创造者策略、选择合适的评价指标等。

如果將創造者和解決者視為兩個獨立的模型，它們之間的互動會如何影響對齊效果？

將創造者和解決者視為兩個獨立的模型，可以帶來以下潛在優勢和挑戰：
優勢：

更强的专业化： 獨立的創造者和解決者模型可以分别针对各自的任务进行优化，从而提升模型的专业化程度。例如，創造者模型可以专注于生成更具挑战性的提示，而解決者模型可以专注于提升对齐效果。
更灵活的训练策略： 可以采用不同的训练策略分别训练創造者和解決者模型，例如使用不同的学习率、优化器或数据增强方法，以更好地适应各自的任务特点。
挑戰：

協調訓練难度增加： 需要設計有效的機制來協調創造者和解決者模型的訓練，以確保兩者能够相互促进，而不是相互干扰。例如，需要平衡創造者模型生成提示的难度和解決者模型的学习能力。
模型崩潰風險： 如果創造者模型生成的提示过于困难，或者解決者模型的学习能力不足，可能会导致模型训练崩溃。
总的来说，将创造者和解决者视为两个独立的模型，可以带来更强的专业化和更灵活的训练策略，但也增加了训练的难度和模型崩溃的风险。需要在实际应用中权衡利弊，并设计合适的机制来协调两个模型的训练。