核心概念
機器學習模型的解釋往往存在分歧,EXAGREE 框架透過識別與利益關係人需求一致的模型,來提高解釋的一致性和公平性。
摘要
論文資訊
標題:EXAGREE:邁向可解釋機器學習中的解釋一致性
作者:Sichao Li, Quanling Deng, Amanda S. Barnard
單位:澳洲國立大學計算學院
研究目標
本研究旨在解決可解釋機器學習中,不同解釋方法或模型之間存在分歧的問題,特別是從以利益關係人為中心的觀點出發,提高解釋的一致性和可靠性。
方法
1. 解釋分歧問題的定義
- 本文將解釋分歧問題形式化為四種基於排序的類型:利益關係人分歧、模型分歧、解釋方法分歧和真實情況分歧。
- 強調以利益關係人為中心的觀點,優先考慮滿足不同人類需求,並利用「羅生門集合」(Rashomon set)的概念來識別符合利益關係人需求的解釋模型(SAEM)。
2. EXAGREE 框架
- 第一階段:羅生門集合採樣和屬性映射
- 使用通用羅生門子集採樣(GRS)算法,從給定數據集中近似具有相似性能的模型。
- 訓練一個可微分的基於掩碼的模型到屬性網絡(DMAN),將模型特徵映射到特徵屬性。
- 第二階段:利益關係人一致性解釋模型(SAEM)識別
- 在近似的羅生門集合中,識別與利益關係人需求一致的解釋模型。
- 通過優化一個多頭掩碼網絡(MHMN)來實現:
- 結合先前訓練的 DMAN 進行特徵屬性映射。
- 結合可微分排序網絡(DiffSortNet)實現排序監督。
3. 實驗與評估
- 使用 OpenXAI 提供的六個數據集,包括合成數據集和真實數據集,並使用預先訓練的邏輯回歸模型、人工神經網絡和決策樹進行基準測試。
- 採用 OpenXAI 基準測試中的一組定量指標來評估解釋之間的一致性,包括特徵一致性、排序一致性、符號一致性、帶符號排序一致性、成對排序一致性、排序相關性、重要特徵擾動的預測差距和不重要特徵擾動的預測差距。
主要發現
- 不同模型、解釋方法和數據集之間的趨勢:當利益關係人的需求與可解釋模型的真實屬性一致時,解釋一致性通常較高。
- 利益關係人分歧的重要性:當利益關係人的需求不同時,依賴單一模型通常會產生相互矛盾的解釋,這表明了利益關係人之間存在分歧。
- EXAGREE 框架的有效性:實驗結果表明,EXAGREE 框架可以有效地提高解釋一致性,並減少不同子群體之間的偏差,從而提高模型的可信度和可解釋性。
研究意義
- 本研究為可解釋機器學習領域的未來研究奠定了基礎,特別是在解決解釋分歧問題方面。
- EXAGREE 框架提供了一種實用的解決方案,可以適應不同的利益關係人需求,並有效地解決子群體公平性問題,有助於構建更值得信賴和可解釋的人工智能系統。
局限與未來方向
- 未來可以探索羅生門集合採樣、排序和排名算法的替代方法,以及不可微分優化。
- 需要在具有不同需求的真實世界科學應用中驗證該框架的更廣泛適用性。
- 可以開發更複雜的界面,以提高非專家利益關係人對該框架的可訪問性和可用性。
- 可以進一步開發更全面和具體的一致性評估指標框架。
統計資料
本文使用了 OpenXAI 提供的六個數據集進行實驗,包括合成數據集和真實數據集。
評估指標包括特徵一致性(FA)、排序一致性(RA)、符號一致性(SA)、帶符號排序一致性(SRA)、成對排序一致性(PRA)、排序相關性(RC)、重要特徵擾動的預測差距(PGI)和不重要特徵擾動的預測差距(PGU)。
實驗結果顯示,EXAGREE 框架在多數數據集中都能夠有效提升解釋一致性,並減少不同子群體之間的偏差。
引述
"As machine learning models gain prominence in critical fields such as healthcare, science and finance, the demand for transparent explanations of their predictions has intensified, particularly in high-stakes decision-making scenarios."
"However, a significant challenge has emerged: explanation disagreement, where explanations from different methods or models conflict with each other."
"To bridge this gap, we introduce EXplanation AGREEment (EXAGREE), a novel framework designed to enhance explanation agreement in explainable machine learning under ranking supervision."