핵심 개념
深層学習モデルのキャリブレーション性能を探求し、重要な洞察を提供する。
초록
ICLR 2024で発表された論文。深層ニューラルネットワークは様々な機械学習タスクで利用されているが、複雑性が増すとキャリブレーションの問題に直面する。多くの研究が特定の損失関数やトレーニングフレームワークを使用してキャリブレーション性能を向上させようとしているが、キャリブレーション特性についての調査は比較的見過ごされてきた。本研究では、Neural Architecture Search(NAS)サーチスペースを活用し、広範囲なモデルアーキテクチャスペースで徹底的なキャリブレーション特性の探索を行っている。具体的には、90個のビンベースおよび12個の追加キャリブレーション測定値を評価し、117,702個の一意なニューラルネットワークで評価している。さらに、提案されたデータセットを使用して長年の未解決問題に答えようとしており、「異なるデータセット間でモデルのキャリブレーションは一般化可能か?」「ロバスト性はキャリブレーション測定として使用できるか?」など多くの質問に取り組んでいる。
통계
NAS(Liu et al., 2018; Dong & Yang, 2019b;a; Xu et al., 2019)は手動設計アーキテクチャよりも優れたニューラルアーキテクチャを自動的に発見することが可能。
NATS-Bench(Dong et al., 2021)は異なるサイズのモデルを考慮した拡張型サーチスペース。
CIFAR-10(Krizhevsky et al., 2009)、CIFAR-100(Krizhevsky et al., 2009)、ImageNet16-120(Chrabaszcz et al., 2017)で事前トレーニングされた11種類のビジョントランスフォーマーも含まれている。
인용구
"Deep neural networks are increasingly utilized in various machine learning tasks."
"Despite their widespread success across various domains, deep neural networks (DNNs) are not immune to producing miscalibrated predictions."
"Our study leverages the Neural Architecture Search (NAS) search space, offering an exhaustive model architecture space for thorough calibration properties exploration."