核心概念
本文提出了一種基於原型的最佳傳輸方法 (POT) 來進行分佈外 (OOD) 檢測,通過量化每個測試輸入對整體分佈差異的貢獻來區分分佈內和分佈外數據。
文獻資訊
Ke, A., Chen, W., Feng, C., Cao, Y., Xie, X., Zhou, S.K., & Feng, L. (2024). Prototype-based Optimal Transport for Out-of-Distribution Detection. arXiv preprint arXiv:2410.07617v1.
研究目標
本研究旨在開發一種有效且具有魯棒性的方法,用於檢測深度神經網路中的分佈外 (OOD) 數據,特別是針對那些與分佈內數據具有較小差異的 OOD 數據。
方法
基於原型的最佳傳輸 (POT):
構建類別原型:計算每個類別中訓練樣本表徵的平均值,作為該類別的原型。
最佳傳輸:利用最佳傳輸 (OT) 來測量測試輸入和類別原型之間的分佈差異,並量化每個測試輸入對整體差異的貢獻。
線性外推數據增強:通過線性外推生成虛擬異常值,以近似 OOD 區域,特別是靠近類別原型的區域。
對比傳輸成本:結合測試輸入到類別原型和虛擬異常值的傳輸成本,以增強對具有較小分佈差異的 OOD 數據的檢測。
主要發現
POT 在各種基準數據集(包括 CIFAR-100 和 ImageNet-1k)上實現了最先進的 OOD 檢測性能。
POT 在檢測具有較小分佈差異的近似分佈外 (Near-OOD) 數據方面表現出顯著的優勢。
POT 可以與不同的訓練方法無縫集成,並且在訓練數據不可用的情況下仍然有效。
主要結論
基於原型的最佳傳輸提供了一種新穎且有效的 OOD 檢測方法,通過量化每個測試輸入對整體分佈差異的貢獻,成功區分了分佈內和分佈外數據,特別是在處理具有較小分佈差異的 OOD 數據時表現出色。
意義
這項研究為 OOD 檢測提供了一個新的視角,並提出了一種實用的方法,可以提高深度學習模型在實際應用中的可靠性和安全性。
限制和未來研究
未來的工作可以探索更先進的虛擬異常值生成方法,以進一步提高 POT 的性能。
研究 POT 在其他領域(如自然語言處理和時間序列分析)中的應用也具有重要意義。
統計資料
在 CIFAR-100 基準測試中,與之前領先的基準方法 NAC-UE 和 DDE 相比,POT 的平均 FPR95 分別降低了 25.6% 和 8.87%。
在 CIFAR-100 基準測試中,POT 在平均 FPR95 和平均 AUROC 方面分別超過了次佳方法 GEN 9.96% 和 5.22%。
在測試批次大小為 32 的情況下,POT 已經達到了 93.18% 的平均 AUROC,優於競爭對手 NAC-UE。