證據深度學習的不確定性量化能力是否僅僅是一種錯覺？

核心概念

儘管證據深度學習（EDL）方法在下游任務中表現出色，但其不確定性量化能力存在缺陷，因為它們忽略了模型不確定性，導致對認知不確定性和偶然不確定性的量化不可靠。

摘要

證據深度學習的不確定性量化能力：深入探討

這篇研究論文深入探討了證據深度學習（EDL）方法在不確定性量化方面的能力和局限性。EDL 方法因其計算效率和在下游任務（如異常檢測）中的出色表現而備受關注。然而，該論文對 EDL 方法的有效性提出了質疑，認為其學習到的不確定性可能是一種錯覺。

EDL 方法的問題

儘管 EDL 方法在下游任務中取得了成功，但最近的研究表明，它們學習到的認知不確定性並不可靠。該論文通過以下幾個關鍵論點支持了這一觀點：

1. **虛假的認知不確定性：**EDL 方法學習到的認知不確定性即使在訓練樣本無限多的情況下也不會消失，這與認知不確定性的基本定義相矛盾。認知不確定性應該隨著觀察數據的增加而減少，最終消失。
2. **虛假的偶然不確定性：**EDL 方法量化的偶然不確定性取決於模型或算法的超參數，而不是捕捉由潛在標籤分佈引起的不可減少的不確定性。
3. **EDL 方法本質上是基於能量模型的異常檢測器：**EDL 方法的學習機制與基於能量模型的異常檢測算法非常相似，這表明 EDL 方法更像是異常檢測器，而不是統計上有意義的不確定性量化器。

模型不確定性的重要性

該論文認為，EDL 方法的問題源於忽略了模型不確定性。為了準確量化不確定性，必須考慮模型不確定性。模型不確定性可以通過隨機算法引入，例如集成方法或 bootstrap 方法。

蒸餾學習方法的優勢

蒸餾學習方法提供了一種通過單個神經網絡來量化不確定性的方法，同時考慮了模型不確定性。這些方法通過訓練一個單一模型來模擬經典 UQ 方法（如集成方法）的行為。

主要發現

該論文通過理論分析和實驗驗證，得出了以下主要發現：

• EDL 方法學習到的不確定性並不可靠，因為它們忽略了模型不確定性。
• EDL 方法更像是異常檢測器，而不是統計上有意義的不確定性量化器。
• 蒸餾學習方法提供了一種更可靠的不確定性量化方法，但計算成本更高。

建議

對於希望使用 EDL 方法的從業者，該論文提出了以下建議：

• 應注意 EDL 方法在不確定性量化方面的局限性。
• 對於需要可靠不確定性估計的應用，應考慮使用蒸餾學習方法。

總之，該論文對 EDL 方法的不確定性量化能力提出了質疑，並強調了模型不確定性的重要性。該研究結果對於理解和應用 EDL 方法具有重要意義。

統計資料

EDL 方法在 CIFAR10 和 CIFAR100 數據集上的認知不確定性幾乎不隨樣本大小而變化。
EDL 方法的偶然不確定性隨著超參數 λ 的變化而變化。
使用較小的 λ 值通常可以提高 EDL 方法在異常檢測任務中的性能。
蒸餾學習方法（例如 EnD2 和 Bootstrap Distillation）在異常檢測和選擇性分類任務中表現優於其他 EDL 方法。

引述

"EDL methods typically learn a single neural network that maps input data to the parameters of a meta distribution, which is a distribution over the predictive distribution."
"This suggests that practitioners cannot rely on the learned distributional uncertainty to determine if the model is lacking knowledge."
"This simplification is often rationalized for the computational efficiency, but as we reveal, it renders the distributional uncertainty inherently ill-defined in this framework."
"This strongly suggests that it is inevitable to assume a stochastic procedure p(ψ|D) to properly define the distributional uncertainty p(π|x, D)."

從以下內容提煉的關鍵洞見

Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage?

by Maohao Shen,... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2402.06160.pdf

深入探究

除了集成方法和 bootstrap 方法之外，還有哪些其他方法可以有效地將模型不確定性納入 EDL 框架？

除了集成方法和 bootstrap 方法，以下幾種方法也可以有效地將模型不確定性納入 EDL 框架：

貝葉斯神經網絡 (BNN): BNN 直接對模型參數進行概率建模，通過變分推斷或蒙特卡洛 Dropout 等方法近似計算模型後驗分佈，從而得到模型預測的不確定性。可以將 BNN 與 EDL 結合，利用 EDL 模型來學習 BNN 後驗分佈的參數，從而更有效地量化不確定性。

深度高斯過程 (DGP): DGP 使用高斯過程作為隱變量模型，可以捕捉模型預測的非線性和複雜相關性。可以將 DGP 與 EDL 結合，利用 EDL 模型來學習 DGP 中高斯過程的超參數，從而更準確地量化不確定性。

基於矩的方法： 可以通過計算模型預測的矩（例如均值和方差）來估計模型不確定性。例如，可以訓練多個 EDL 模型，並使用它們預測的均值和方差來構建一個高斯分佈，從而表示模型不確定性。

基於信息論的方法： 可以使用信息論中的概念（例如互信息和信息熵）來量化模型不確定性。例如，可以訓練 EDL 模型來最大化模型預測和真實標籤之間的互信息，從而減少模型不確定性。

需要注意的是，將模型不確定性納入 EDL 框架通常會增加計算複雜度。因此，在選擇具體方法時，需要權衡模型性能和計算成本。

EDL 方法在異常檢測方面的成功是否可以完全歸因於其作為基於能量模型的異常檢測器的作用，或者還有其他因素在起作用？

雖然 EDL 方法與基於能量模型的異常檢測器有諸多相似之處，其在異常檢測方面的成功不能完全歸因於此，還有其他因素在起作用：

Dirichlet 分佈的先驗信息： EDL 方法通常使用 Dirichlet 分佈作為預測概率的先驗分佈。Dirichlet 分佈本身就具備對不確定性建模的能力，可以促使模型對低置信度的預測輸出更分散的概率分佈，從而更容易被識別為異常。

目標函數的正則化作用： EDL 方法使用的目標函數通常包含正則化項，例如 KL 散度，用於限制模型參數的取值範圍，避免過擬合。這種正則化作用可以提高模型的泛化能力，使其在面對異常數據時更加魯棒。

特徵空間的表徵學習： EDL 方法通常使用深度神經網絡作為特徵提取器，可以學習到數據在高維特徵空間中的表徵。這種表徵學習能力可以幫助模型更好地捕捉數據中的異常模式，從而提高異常檢測的準確率。

總而言之，EDL 方法在異常檢測方面的成功是多種因素共同作用的結果，包括其與基於能量模型的相似性、Dirichlet 分佈的先驗信息、目標函數的正則化作用以及特徵空間的表徵學習能力。

如果我們可以設計一種能夠完美區分認知不確定性和偶然不確定性的 UQ 方法，那麼它將如何改變我們構建和解釋機器學習模型的方式？

如果我們能設計出完美區分認知不確定性和偶然不確定性的 UQ 方法，將為機器學習模型的構建和解釋帶來革命性的變化：

更可靠的決策： 通過區分兩種不確定性，模型可以更準確地評估自身預測的可信度。對於認知不確定性較高的預測，模型可以選擇拒絕決策或尋求人工干預，避免潛在風險；而對於偶然不確定性較高的預測，模型可以提供更多樣化的決策選項，並告知用戶風險的存在。

更高效的學習： 模型可以根據不確定性分析，有針對性地收集數據、調整模型結構或優化訓練策略。例如，針對認知不確定性較高的區域，模型可以主動收集更多數據，提高預測的準確性；而針對偶然不確定性較高的區域，模型可以調整損失函數或增加模型複雜度，更好地捕捉數據中的隨機性。

更可解釋的模型： 通過分析模型在不同輸入空間的不確定性分佈，可以更好地理解模型的決策邊界、泛化能力和潛在偏差。例如，可以通過可視化技術展示模型在不同輸入特徵上的不確定性，幫助用戶理解模型的決策依據，提高模型的可信度。

更安全的應用： 在醫療診斷、自動駕駛等高風險領域，區分兩種不確定性對於保障系統安全至關重要。模型可以根據不確定性分析，動態調整系統的運行策略，例如降低車速、尋求人工接管等，最大程度地降低風險。

總而言之，完美區分認知不確定性和偶然不確定性的 UQ 方法將推動機器學習模型向著更可靠、更高效、更可解釋和更安全的方向發展，為人工智能技術的應用帶來更廣闊的空間。