在不同類別不平衡和受保護群體比例下公平性度量的特性

Core Concepts

類別不平衡會顯著影響群體公平性度量的行為，特別是對於正預測值一致性和負預測值一致性，這凸顯了根據資料特性選擇適當度量的重要性，並強調了開發對類別不平衡更具免疫力的新度量的必要性。

Abstract

書目資訊

Brzezinski, D., Stachowiak, J., Stefanowski, J., Szczech, I., Susmaga, R., Aksenyuk, S., Ivashka, U., & Yasinskyi, O. (2024). Properties of fairness measures in the context of varying class imbalance and protected group ratios. arXiv preprint arXiv:2411.08425v1.

研究目標

本研究旨在探討在類別不平衡和受保護群體比例不同的情況下，六種常用的群體公平性度量的行為。

方法

研究人員分析了六種公平性度量（準確率相等、統計奇偶性、均等機會、預測相等、正預測值一致性和負預測值一致性）的機率質量函數，並定義了八種與資料集無關的屬性（對 IR 變化的免疫性、對 GR 變化的免疫性、解析度穩定性、公平性對稱性、IR 對稱性、GR 對稱性、完美公平性穩定性和未定義值），以在不同的類別不平衡和受保護群體比例下描述這些度量的行為。此外，他們還使用 UCI 成人資料集進行了受控實驗，以驗證所提出的通用屬性如何應用於涉及六種不同分類器（k-最近鄰居、樸素貝葉斯、決策樹、邏輯回歸、隨機森林和多層感知器）的實際分類場景。

主要發現

• 所有分析的度量在存在類別不平衡的情況下都會改變其行為，並且在較小程度上，在存在受保護群體偏差的情況下也會改變其行為。
• 準確率相等和統計奇偶性在不同的類別和群體比例下具有最穩定的值分佈，對待兩個類別和群體的方式對稱，幾乎沒有未定義的值，並且在所有不平衡和群體比例下實現完美公平性的機會保持接近恆定。
• 均等機會和預測相等是互補的，因為前者在資料集中正例較少時變得不穩定，而後者在資料集中負例較少時表現較差。
• 正預測值一致性和負預測值一致性被發現是最不穩定和分佈最不對稱的。

主要結論

• 在存在類別不平衡的情況下，資料不平衡會顯著影響群體公平性度量的行為，特別是對於正預測值一致性和負預測值一致性。
• 選擇公平性度量時需要考慮資料特性。
• 準確率相等和統計奇偶性對於不平衡資料集來說是最可靠的度量。
• 均等機會或預測相等的適用性取決於類別不平衡的類型。
• 正預測值一致性和負預測值一致性應主要用於類別和受保護群體相對平衡的資料集。

意義

本研究強調了在類別不平衡的情況下仔細選擇公平性度量的必要性，並為在實際環境中選擇適當的度量提供了指導。

局限性和未來研究方向

• 未來的研究可以將當前的分析擴展到更複雜的資料情景下的公平性度量屬性，例如刻板印象偏差。
• 未來的研究可以將實現特定混淆矩陣的機率作為一個參數，用於分析不同先驗條件下度量的屬性。
• 所提出的屬性可用於設計新的公平性度量，使其更加穩健，更適合處理不同的類別不平衡和受保護群體偏差。
• 這些屬性可能有助於開發新的分類器公平性干預方法。

Stats

研究人員分析了六種常用的群體公平性度量。
他們定義了八種與資料集無關的屬性來描述這些度量。
實驗使用了 UCI 成人資料集，並控制了不平衡率 (IR) 和群體比率 (GR)。
他們使用了六種不同類型的學習演算法：k-最近鄰居、樸素貝葉斯、決策樹、邏輯回歸、隨機森林和具有 100 個神經元隱藏層的多層感知器 (MLP)。
每個資料子集的大小均等於 n=1100。
他們對每個資料子集進行了 50 次隨機分層留出評估（67% 訓練，33% 測試）。

Quotes

Key Insights Distilled From

Properties of fairness measures in the context of varying class imbalance and protected group ratios

by Dariusz Brze... at arxiv.org 11-14-2024

https://arxiv.org/pdf/2411.08425.pdf

Deeper Inquiries

除了所分析的六種度量之外，還有哪些其他公平性度量可用於評估機器學習模型中的公平性，它們如何處理類別不平衡？

除了文中分析的六種度量外，還有許多其他公平性度量可用於評估機器學習模型的公平性。以下列舉一些例子，並說明它們如何處理類別不平衡：
1. 基於排序的公平性度量：

平均排序位置（Mean Rank Position）： 衡量受保護群體在模型預測排序中的平均位置。在類別不平衡的情況下，如果模型對少數群體的預測排名較低，則該度量會受到影響。
AUC差異（AUC Difference）： 計算受保護群體和非受保護群體之間的AUC差異。該度量對類別不平衡相對不敏感，因為它考慮了所有可能的分類閾值。
2. 基於校準的公平性度量：

預測校準差異（Predictive Calibration Difference）： 衡量受保護群體和非受保護群體之間的預測概率和實際結果之間的差異。在類別不平衡的情況下，如果模型對少數群體的預測概率不準確，則該度量會受到影響。
3. 基於反事實的公平性度量：

反事實公平性（Counterfactual Fairness）： 評估如果個體屬於不同的受保護群體，模型的預測是否會改變。該度量試圖解決數據中存在的因果關係，並在類別不平衡的情況下可能更具魯棒性。
處理類別不平衡：
上述度量在處理類別不平衡方面各有优缺点。一些度量，例如AUC差異，對類別不平衡相對不敏感。而其他度量，例如平均排序位置和預測校準差異，則需要進行調整才能在類別不平衡的情況下可靠地使用。
總之，選擇合適的公平性度量取決於具體的應用場景和數據特徵。在類別不平衡的情況下，選擇對類別不平衡不敏感的度量或對度量進行調整以適應類別不平衡非常重要。

能否設計出一種新的公平性度量，使其對類別不平衡和受保護群體偏差完全免疫，或者這是一個無法實現的目標？

設計一種對類別不平衡和受保護群體偏差完全免疫的公平性度量是一個極具挑戰性的目標，甚至可能是一個無法實現的目標。主要原因如下：

公平性概念的多樣性： 公平性是一個多方面概念，沒有單一定義可以涵蓋所有情況。不同的公平性度量試圖從不同角度衡量公平性，而這些角度可能相互衝突。
數據偏差的複雜性： 現實世界數據中的偏差非常複雜，可能以多種形式出現，例如特徵偏差、標籤偏差和樣本偏差。很難設計出一個度量可以捕捉所有類型的偏差。
公平性和準確性的權衡： 在某些情況下，完全消除偏差可能會導致模型準確性下降。這意味著在公平性和準確性之間需要進行權衡。
因此，与其追求完全免疫的度量，不如致力于設計更鲁棒、更全面的公平性度量，并在实际应用中根据具体情况选择合适的度量，并结合其他方法来减轻偏差的影响，例如数据预处理、模型调整和结果校正。

如果資料集中存在多個受保護屬性（例如，種族、性別和年齡），那麼在評估和確保機器學習模型的公平性方面會有哪些額外的挑戰和考慮因素？

當數據集中存在多個受保護屬性時，評估和確保機器學習模型的公平性會變得更加複雜和具有挑戰性。以下列舉一些額外的挑戰和考慮因素：
1. 交叉性偏差： 多個受保護屬性可能相互交織，產生交叉性偏差。例如，模型可能對特定種族和性別組合的群體表現出偏差。
2. 度量選擇和解釋： 需要仔細選擇和解釋公平性度量，以確保其能夠捕捉到所有受保護屬性之間的複雜關係。
3. 模型公平性干預： 針對單一受保護屬性設計的公平性干預方法可能無法有效解決交叉性偏差。
4. 数据收集和标注： 在收集和标注数据时，需要更加关注不同受保护属性组合的群体的代表性，以避免数据偏差的放大。
5. 公平性目标的权衡： 当存在多个受保护属性时，可能需要在不同群体的公平性目标之间进行权衡，因为完全满足所有群体的公平性要求可能不切实际。
为了应对这些挑战，可以采取以下措施：

使用交叉性公平性度量： 例如，可以使用基于子群的度量来评估模型在所有受保护属性组合上的表现。
开发交叉性公平性干预方法： 例如，可以使用多任务学习或对抗训练来减轻交叉性偏差。
提高数据收集和标注的多样性： 确保数据集中包含来自不同背景和身份的个体，并使用更全面的标注指南来减少标注偏差。
进行全面的公平性评估： 不要只关注单一公平性度量，而是要使用多种度量来评估模型在不同维度上的公平性表现。
总而言之，在处理多个受保护属性时，需要采用更全面、更细致的方法来评估和确保机器学习模型的公平性。