更多缺失值的陰影：負責任的缺失值填補基準

Core Concepts

本文提出了一個名為Shades-of-Null的基準,用於評估負責任的缺失值填補方法。該基準包含最先進的填補技術,並將其嵌入機器學習開發生命週期中。我們建模了超越魯賓經典缺失完全隨機(MCAR)、缺失隨機(MAR)和缺失非隨機(MNAR)的現實缺失情景,包括多機制缺失(當不同的缺失模式共存於數據中)和缺失轉移(當訓練集和測試集之間的缺失機制發生變化)。我們的工作的另一個關鍵創新是,我們根據預測性能、公平性和穩定性對填補器進行整體評估。

Abstract

本文提出了一個名為Shades-of-Null的基準,用於全面和嚴格地評估新的缺失值填補方法在各種評估指標和現實可能的缺失情景下的表現。

該基準的主要特點包括:

1. 處理單一機制和混合機制的缺失情景,包括缺失轉移。
2. 支持靈活的填補質量和模型性能評估,包括準確性、公平性和穩定性。

作者進行了大規模的實驗研究,涉及20,952個實驗管道,發現雖然沒有單一最佳的填補方法適用於所有缺失類型,但在較簡單和更複雜的缺失情景中比較填補器的性能確實會出現有趣的模式。此外,預測性能、公平性和穩定性可以視為正交的,但由於缺失情景、填補器的選擇以及在填補後訓練的模型架構的組合,它們之間會出現權衡。

作者公開發佈了Shades-of-Null基準,希望能夠使研究人員能夠全面和嚴格地評估新的缺失值填補方法在各種評估指標和現實可能的缺失情景下的表現。

Stats

缺失完全隨機(MCAR)時,填補器的F1分數下降約0.06。
缺失隨機(MAR)時,填補器的F1分數下降約0.08。
缺失非隨機(MNAR)時,填補器的F1分數下降約0.1。

Quotes

無

Key Insights Distilled From

Still More Shades of Null: A Benchmark for Responsible Missing Value Imputation

by Falaah Arif ... at arxiv.org 09-13-2024

https://arxiv.org/pdf/2409.07510.pdf

Deeper Inquiries

如何設計更加現實和複雜的缺失情景,以更好地模擬實際應用中的缺失模式?

在設計更加現實和複雜的缺失情景時，可以考慮以下幾個方面：

多機制缺失性：應用中常見的缺失模式往往不是單一的，而是多種缺失機制的組合。例如，數據集可能同時存在完全隨機缺失（MCAR）、隨機缺失（MAR）和非隨機缺失（MNAR）。因此，設計缺失情景時，應考慮這些機制的共存，並根據特定特徵的相關性和重要性來模擬缺失。

缺失性轉變：在訓練和測試階段，缺失性機制可能會發生變化，這種現象稱為缺失性轉變。設計時應考慮如何在訓練數據中引入一種缺失模式，而在測試數據中引入另一種，這樣可以更好地反映實際應用中的情況。

社會技術背景：缺失數據的原因往往與社會背景有關，例如性別、年齡或種族等敏感屬性可能影響數據的缺失模式。因此，在設計缺失情景時，應考慮這些社會技術因素，模擬不同群體的缺失行為，以便更好地捕捉潛在的偏見和不公平性。

特徵重要性：根據特徵與目標變量之間的相關性來決定哪些特徵可能會缺失。這樣可以確保模擬的缺失情景更具現實性，並能夠反映出特徵缺失對模型性能的影響。

除了準確性、公平性和穩定性,還有哪些其他重要的模型性能指標應該納入評估?

除了準確性、公平性和穩定性，還有幾個重要的模型性能指標應該納入評估：

可解釋性：模型的可解釋性是指用戶能夠理解模型的決策過程。這在許多應用中至關重要，特別是在醫療、金融等高風險領域，因為用戶需要知道模型為何做出某個決策。

魯棒性：模型的魯棒性是指其對於數據變化和噪聲的抵抗能力。評估模型在不同數據集和不同缺失情景下的表現，可以幫助確保模型在實際應用中的穩定性。

計算效率：模型的計算效率涉及到訓練和推斷的時間成本。在資源有限的情況下，選擇計算效率高的模型可以提高實際應用的可行性。

數據利用率：這是指模型在處理缺失數據時的能力。評估模型如何有效利用可用數據進行學習，尤其是在數據缺失的情況下，對於提高模型的整體性能至關重要。

泛化能力：模型的泛化能力是指其在未見數據上的表現。這可以通過交叉驗證等方法來評估，以確保模型不僅在訓練數據上表現良好，還能在實際應用中保持良好的性能。

如何在填補質量和模型性能之間找到最佳平衡,以實現更好的整體系統性能?

在填補質量和模型性能之間找到最佳平衡，可以考慮以下策略：

綜合評估指標：在評估填補質量時，不僅要考慮填補的準確性，還要考慮其對下游模型性能的影響。使用多種評估指標（如F1分數、均方根誤差、KL散度等）來全面評估填補質量，並觀察其對模型性能的影響。

交叉驗證：通過交叉驗證來測試不同填補方法的效果，這樣可以在不同的數據子集上評估填補質量和模型性能，從而找到最佳的填補策略。

模型選擇：選擇合適的模型架構來適應填補後的數據特性。某些模型可能對填補質量的變化更敏感，因此選擇合適的模型可以提高整體系統性能。

迭代優化：在填補和模型訓練之間進行迭代優化。可以先進行初步填補，然後訓練模型，接著根據模型的表現進行填補的調整，這樣可以不斷改進填補質量和模型性能。

社會影響考量：在評估填補質量和模型性能時，還應考慮社會影響，特別是在涉及敏感屬性的應用中。確保填補方法不會引入偏見或不公平性，這對於實現更好的整體系統性能至關重要。