Temel Kavramlar
深層学習における不確実性の量子化を改善する新しい手法MixupMPが提案されました。
Özet
この論文では、深層学習における不確実性の量子化問題にアプローチし、未来データの予測分布に基づく深いアンサンブリングモデルであるMixupMPが提案されています。Martingale posteriorsフレームワークを活用し、MixupMPは画像分類データセットで優れた予測パフォーマンスと不確実性の量子化を達成します。
INTRODUCTION
- 深層学習モデルの安全な展開における信頼性の重要性。
- Bayesian neural networks(BNNs)は目標を達成するための原則的なアプローチ。
- しかし、BNNsでは正確な事後推論が困難であり、意味のある事前分布を設計することが挑戦的。
Martingale posterior distributions
- Martingale posteriors(MP)は古典的なBayesian推論への代替手法。
- MPは未来観測値zn+1:∞に関するP∞分布を仮定し、θへの事後サンプルπn(θ)を定義。
Mixup Martingale posteriors: Incorporating prior knowledge about the distribution of interest
- データ駆動型アプローチであるMPは深層学習へ応用されていなかった。
- MixupMPは画像データ向け新しいMP形式であり、Dirichlet processからインスピレーションを得ている。
Experiments
- MNISTとFMNIST上でBBとDEのテストセットパフォーマンス比較。
- CIFAR10上でMixupMPパラメータαとrの影響評価。
- CIFAR10-Cデータセット上で分布シフト耐性評価。
İstatistikler
Deep ensembles work, but are they necessary? (Abe et al., 2022)
Weight uncertainty in neural network (Blundell et al., 2015)
Dropout as a Bayesian approximation (Gal and Ghahramani, 2016)
Alıntılar
"Deep ensembles have been shown to perform similarly to or better than alternative Bayesian neural networks in uncertainty quantification, predictive accuracy and robustness to distribution shifts."
"MixupMP with r = 1.0 achieves the best accuracy, NLL and ECE across all shift intensity levels."