ProgressGym：透過模擬千年道德進展實現 AI 對齊

核心概念

為減輕人工智慧系統潛在的價值鎖定風險，本文提出「進展對齊」（progress alignment）方法，透過模擬人類道德進展機制，讓 AI 系統能隨著時間推移，動態調整自身價值觀，以更安全、有益的方式與人類互動。

摘要

論文資訊：

Tianyi Qiu 等人於 2024 年發表於 NeurIPS 資料集與基準測試研討會的論文：ProgressGym: Alignment with a Millennium of Moral Progress。

研究目標：

• 探討現有 AI 對齊方法在面對人類價值觀演變時的不足，尤其關注「價值鎖定」風險。
• 提出「進展對齊」作為解決方案，旨在讓 AI 系統能學習並實踐人類道德進展機制。

方法：

• 建立名為「ProgressGym」的實驗框架，利用歷史文本數據（西元 1221 年至 2022 年，共 38GB）和歷史語言模型（18 個涵蓋 9 個世紀的語言模型，包含 70 億和 800 億參數版本），模擬人類價值觀的歷史演變。
• 設計三項核心挑戰：PG-Follow（追蹤價值觀演變）、PG-Predict（預測道德進展）和 PG-Coevolve（調節人機價值觀反饋迴路）。
• 提出「終身學習」和「外推法」作為進展對齊的基準方法，並透過 ProgressGym 進行評估。

主要發現：

• ProgressGym 是首個納入時間維度的 AI 對齊實驗框架，為研究人類價值觀演變與 AI 對齊提供了新的視角。
• 初步實驗結果顯示，終身學習和外推法都能在一定程度上實現進展對齊，但仍有改進空間。
• 研究結果也暗示，道德進展的過程相當複雜，單純依賴直覺或簡單的外推法可能不足以應對。

結論：

• 進展對齊是解決 AI 價值鎖定風險的重要方向，ProgressGym 為相關研究提供了有價值的平台。
• 未來研究方向包括：納入更多文化背景的數據、提升歷史語言模型對價值觀的模擬能力、開發更先進的進展對齊演算法等。

研究意義：

• 本研究為 AI 對齊領域開闢了新的研究方向，有助於開發更安全、符合人類價值觀的 AI 系統。
• ProgressGym 的提出為評估和比較不同進展對齊演算法提供了基準平台，促進了該領域的發展。

研究限制與未來方向：

• 目前歷史文本數據主要來自西方文化，未來應納入更多文化背景的數據，以提升研究的普適性。
• 歷史語言模型對人類價值觀的模擬能力仍有待提升，未來可透過更精細的訓練數據和模型架構來改進。

統計資料

研究使用了涵蓋西元 1221 年至 2022 年的 38GB 歷史文本數據。
研究訓練了 18 個歷史語言模型，涵蓋 9 個世紀，包含 70 億和 800 億參數版本。
研究設計了三項核心挑戰：PG-Follow、PG-Predict 和 PG-Coevolve，用於評估進展對齊演算法的性能。

引述

"LLMs and other frontier AI systems are trained on massive amounts of human-generated data, including Internet text and images [7] and human preference annotations [8]. This data often reflects contemporary biases and misconceptions, which AI systems may learn and perpetuate in their deployment and interaction with humans."
"Historically, human-driven moral progress — societal improvements in moral beliefs and practices [9], such as the abolition of slavery — has acted as a counterbalance to value lock-in."
"As a highlight, ProgressGym is the first alignment experimental framework (I) to incorporate the temporal dimension of alignment, (II) to cover all of datasets, models, algorithms, and benchmarks, and (III) to provide datasets and model collections at a massive scale (9 centuries, 38GB text data, 18 LLMs at up to 70B parameters)."

從以下內容提煉的關鍵洞見

ProgressGym: Alignment with a Millennium of Moral Progress

by Tianyi Qiu, ... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2406.20087.pdf

深入探究

如何在保護隱私和避免數據偏見的前提下，更有效地收集和利用人類價值觀數據來訓練 AI 系統？

要有效地收集和利用人類價值觀數據來訓練 AI 系統，同時兼顧隱私保護和避免數據偏見，可以參考以下幾種方法：

聯邦學習（Federated Learning）: 聯邦學習允許在不直接共享數據的情況下訓練 AI 模型。在收集人類價值觀數據時，可以將數據分散存儲在用戶設備上，並利用聯邦學習技術在本地訓練模型，只將模型更新而不是原始數據發送到中央服務器。這種方法可以有效保護用戶隱私，同時避免數據集中在單一機構可能導致的偏見。

差分隱私（Differential Privacy）: 差分隱私是一種通過添加噪音來保護數據集中個體隱私的技術。在收集人類價值觀數據時，可以在數據集中添加適當的噪音，使得攻擊者難以通過分析數據推斷出特定個人的價值觀。這種方法可以在一定程度上平衡數據可用性和隱私保護之間的矛盾。

數據增強和平衡（Data Augmentation and Balancing）: 數據偏見通常源於數據集中某些群體或觀點的代表性不足。為了解決這個問題，可以採用數據增強技術，通過對現有數據進行變換或生成新的數據來增加代表性不足群體的數據量。此外，還可以通過數據平衡技術，對不同群體的數據進行加權或重采樣，以確保訓練數據集的平衡性。

可解釋 AI（Explainable AI）: 可解釋 AI 技術可以幫助我們理解 AI 模型如何做出決策，以及哪些因素影響了模型的輸出。在訓練 AI 系統時，可以利用可解釋 AI 技術來分析模型是否學習到了數據中的偏見，並根據分析結果對模型進行調整或修正。

價值敏感設計（Value Sensitive Design）: 價值敏感設計是一種將人類價值觀融入系統設計過程中的方法。在設計 AI 系統時，應該充分考慮不同利益相關者的價值觀，並將這些價值觀作為設計目標和約束條件。例如，在設計推薦系統時，應該考慮到用戶的隱私、公平性和自主性等價值觀。

總之，收集和利用人類價值觀數據來訓練 AI 系統是一個複雜且敏感的問題，需要綜合考慮多方面的因素。通過結合上述方法，我們可以更有效地利用數據來訓練 AI 系統，同時最大程度地保護隱私和避免數據偏見。

若將人類道德進展視為一個持續變化的過程，而非朝向固定目標的單向發展，那麼進展對齊的目標應該如何調整？

如果將人類道德進展視為一個持續變化的動態過程，而非朝向固定目標的單向發展，那麼「進展對齊」的目標也需要做出相應調整，不能再簡單地將 AI 系統與當前人類價值觀進行對齊，而是要讓 AI 系統能夠理解、適應甚至參與到人類道德進展的動態過程中。具體來說，可以從以下幾個方面進行調整：

從「靜態對齊」到「動態追蹤」: 進展對齊的目標不再是讓 AI 系統學習一組固定的道德準則，而是要讓 AI 系統具備持續學習和適應人類道德觀念變化的能力。這需要 AI 系統能夠從不斷產生的新數據中動態地學習和更新對人類價值觀的理解，並根據新的理解調整自身的行為。

從「單向學習」到「雙向互動」: 人類與 AI 系統之間的道德影響應該是雙向互動的。一方面，AI 系統需要學習和適應人類的道德觀念；另一方面，AI 系統也可以通過提供信息、提出建議等方式參與到人類的道德思考和決策過程中，促進人類的道德反思和進步。

從「追求共識」到「尊重多元」: 人類社會存在著多元的價值觀，道德進展的過程也必然伴隨著不同價值觀之間的碰撞和融合。進展對齊不應該追求單一、絕對的道德標準，而是要尊重人類價值觀的多元性，並在不同的價值觀之間尋求平衡和協調。

從「結果導向」到「過程導向」: 評價進展對齊的成功與否，不能僅僅依靠 AI 系統在特定道德困境中做出的決策是否符合人類預期，更要關注 AI 系統參與道德決策的過程是否體現了對人類價值觀的理解和尊重，以及 AI 系統的參與是否促進了人類的道德反思和對話。

總之，在動態的道德進展觀下，進展對齊的目標需要從追求靜態、單向、單一和結果導向，轉變為追求動態、雙向、多元和過程導向。這是一個更加複雜和具有挑戰性的目標，需要我們不斷探索新的技術路径和倫理框架。

假設 AI 系統成功習得了人類道德進展的機制，我們是否有足夠的智慧和準備來應對 AI 可能帶來的倫理挑戰？

即使 AI 系統成功習得了人類道德進展的機制，我們仍然需要保持警惕，因為 AI 可能帶來的倫理挑戰仍然是巨大的，而我們目前的智慧和準備還遠遠不夠充分。
以下是一些需要考慮的關鍵挑戰：

道德進展的複雜性: 人類道德進展是一個極其複雜的過程，受到歷史、文化、社會、經濟等多重因素的影響，其內在機制至今尚未完全被我們理解。即使 AI 系統能夠學習到人類歷史上的道德進展模式，也難以保證其能夠準確預測和應對未來更加複雜多變的道德挑戰。

價值觀的衝突: 人類社會存在著多元的價值觀，不同文化、宗教、意識形態之間的價值觀念可能存在巨大差異，甚至相互衝突。AI 系統在學習人類道德進展的過程中，如何處理這些價值觀衝突，如何避免被某些特定價值觀所主導，將是一個巨大的挑戰。

AI 的自主性: 隨著 AI 系統越來越智能化，其自主性也將越來越高。如果 AI 系統具備了獨立思考和決策的能力，我們如何確保其做出的道德判斷符合人類的利益和價值觀？如何防止 AI 系統為了追求所謂的「道德進步」而做出損害人類利益的行為？

責任歸屬: 當 AI 系統參與到人類的道德決策過程中，如果 AI 系統做出了錯誤的道德判斷，導致了不良後果，責任應該如何歸屬？是應該歸咎於設計 AI 系統的工程師，還是使用 AI 系統的個人或機構？這些問題目前還沒有明確的答案。

為了應對 AI 可能帶來的倫理挑戰，我們需要：

加強 AI 倫理研究: 投入更多資源研究 AI 倫理，探索如何在 AI 系統中嵌入人類的價值觀，如何規範 AI 系統的行為，如何建立有效的 AI 治理機制。

促進跨學科合作: AI 倫理問題涉及到計算機科學、哲學、倫理學、社會學、法學等多個學科，需要促進跨學科的合作，共同探討解決方案。

開展公眾教育: 提升公眾對 AI 倫理問題的認識，引導公眾理性思考 AI 技術的發展和應用，避免對 AI 技術產生不必要的恐慌或盲目崇拜。

制定國際規範: 加強國際合作，共同制定 AI 倫理規範和標準，引導 AI 技術的發展方向，避免 AI 技術被用於危害人類社會的目的。

總之，AI 技術的發展給人類社會帶來了前所未有的機遇和挑戰。我們需要保持謙遜和謹慎的態度，不斷提升自身的智慧和準備，才能夠更好地應對 AI 可能帶來的倫理挑戰，讓 AI 技術真正造福於人類社會。