在欠抽樣後使用 Platt 比例縮放進行校準：限制與解決方案

核心概念

雖然 Platt 比例縮放在欠抽樣後經常被用於模型校準，但這種方法並非為此目的而設計，並且在某些情況下可能效果不佳。本文分析了 Platt 比例縮放的局限性，特別是在處理完美基礎模型和具有特定系統誤差的模型時，並提出了替代方法，例如使用 logit 轉換和邏輯廣義加性模型 (GAM) 來增強 Platt 比例縮放。

摘要

這篇研究論文探討了在處理不平衡數據集時，於欠抽樣後進行模型校準的複雜性。作者首先強調了不平衡二元分類問題在各領域的普遍性，例如金融、醫療保健和野火預測。由於數據量龐大且類別不平衡，這些問題為建模帶來了挑戰，導致模型可能會忽略少數類別。
欠抽樣是一種常用的解決方案，它透過保留所有少數類別觀察值並僅保留多數類別的隨機子集來創建更平衡的訓練數據集。然而，這種方法會導致模型偏差，因為訓練數據的分佈與新數據的分佈不同，從而產生過高估計真實結果概率的預測。作者強調了校準概率估計以獲得可靠預測的重要性。

本文重點關注 Platt 比例縮放，這是一種常用的欠抽樣後模型校準方法。儘管其受歡迎，但作者質疑其適用性，因為它最初並非為此目的而設計。
作者首先從分析上證明，Platt 比例縮放無法正確校準完美擬合欠抽樣數據集的模型，從而導致條件概率估計不正確。當基礎模型的預測值與真實概率呈 sigmoid 關係時，證明了傳統 Platt 比例縮放的有效性。然而，對於傾向於將估計值推向極端值或與完美預測或完美 sigmoid 形狀有所不同的模型，作者建議使用邏輯廣義加性模型 (GAM) 作為一種更靈活和強大的方法。

從以下內容提煉的關鍵洞見

Using Platt's scaling for calibration after undersampling -- limitations and how to address them

by Nathan Phelp... 於 arxiv.org 10-25-2024

https://arxiv.org/pdf/2410.18144.pdf

深入探究

除了本文討論的校準方法外，還有哪些其他新興技術可以用於解決欠抽樣後模型校準的挑戰？

除了 Platt 比例縮放、分析校準和等距回歸外，還有其他新興技術可用於解決欠抽樣後模型校準的挑戰：

基於學習的抽樣方法: 這些方法旨在通過學習數據分佈來改進傳統的欠抽樣技術。例子包括：

合成少數過採樣技術 (SMOTE) 及其變體：SMOTE 通過在少數類樣本之間創建合成樣本來解決類別不平衡問題。
基於集群的欠抽樣: 這些方法會識別並移除多數類中冗餘或無信息的樣本，同時保留邊界樣本。

成本敏感型學習: 這些方法在訓練過程中為不同類別的錯誤分配不同的成本，從而使模型更加重視正確分類少數類樣本。這可以通過調整損失函數或使用加權樣本來實現。
集成學習方法: 這些方法結合了多個基學習器的預測，以提高整體預測性能和校準。例子包括：

自助聚合 (Bagging)：Bagging 通過從原始數據集中創建多個自助樣本並訓練每個樣本上的單獨模型來減少過擬合。
提升 (Boosting)：Boosting 依次訓練多個模型，每個模型都專注於糾正先前模型的錯誤。

深度學習技術: 深度學習模型，例如卷積神經網絡 (CNN) 和遞歸神經網絡 (RNN)，在各種機器學習任務中都取得了顯著的成功。這些模型可以用於從不平衡數據中學習，並且可以使用特定技術（例如，加權損失函數、數據增強和遷移學習）來提高其校準性能。
重要的是要注意，沒有一種校準方法在所有情況下都優於其他方法。最佳方法取決於具體的數據集和問題。建議嘗試不同的方法並比較它們的性能，以確定最適合給定任務的方法。

在哪些情況下，儘管存在本文中強調的限制，但使用 Platt 比例縮放進行校準可能仍然是合理的選擇？

儘管 Platt 比例縮放在欠抽樣後校準模型存在限制，但在某些情況下它仍然是合理的選擇：

當基模型的預測具有 sigmoid 關係時: 正如本文中所討論的，當基模型的預測與真實概率呈 sigmoid 關係時，Platt 比例縮放可以提供適當校準的概率估計。
當計算資源有限時: 與其他更複雜的校準方法相比，Platt 比例縮放是一種相對簡單且計算成本較低的方法。當計算資源有限時，這可能是一個重要的考慮因素。
作為初始校準步驟: Platt 比例縮放可以用作初始校準步驟，然後可以使用更複雜的方法來進一步提高校準性能。
但是，在決定使用 Platt 比例縮放時，務必注意其限制。重要的是要評估校準方法的性能，並在必要時考慮使用替代方法。

模型校準的倫理含義是什麼，特別是在醫療保健等高風險領域，錯誤預測的後果可能很嚴重？

在醫療保健等高風險領域，模型校準具有重要的倫理含義，因為錯誤預測可能會產生嚴重後果。以下是一些需要考慮的關鍵倫理含義：

病人安全: 在醫療保健中，錯誤預測可能會導致錯誤診斷、延誤治療或不必要的醫療程序，從而危及患者安全。
公平性: 未經校準的模型可能會加劇現有的健康差距，導致某些人群獲得的護理質量較低。
透明度: 了解模型預測背後的推理過程至關重要，尤其是在高風險決策中。校準模型可以提高透明度並建立信任。
問責制: 當模型用於做出影響個人生活的決策時，必須建立明確的問責機制。校準模型可以通過提供更可靠的概率估計來支持問責制。
為了減輕與模型校準相關的倫理風險，必須遵循以下原則：

嚴格的驗證和測試: 在將模型部署到真實世界之前，必須使用代表預期人群的數據對其進行嚴格的驗證和測試。
持續監控: 部署模型後，必須持續監控其性能並在必要時重新校準，以確保其準確性和可靠性。
人類監督: 在高風險情況下，應始終有人類專家參與決策過程，以審查模型預測並在必要時進行調整。
患者參與: 讓患者參與模型開發和部署過程至關重要，以確保其需求和價值觀得到考慮。
通過解決模型校準的倫理含義，我們可以努力開發和部署負責任且合乎道德的 AI 系統，從而改善醫療保健和其他高風險領域的結果。