本研究では、機械学習モデルの予測に対する説明の不確実性を評価するためのサニティチェックを提案している。
具体的には以下の2つのチェックを行う:
重み ランダム化テスト:
データ ランダム化テスト:
これらのテストを通じて、説明の不確実性推定手法とモデル説明手法の組み合わせが、基本的な期待に沿って動作しているかを確認できる。
実験では、CIFAR10 画像分類タスクとカリフォルニア住宅価格回帰タスクを用いて、様々な不確実性推定手法(MC-Dropout、MC-DropConnect、Ensembles、Flipout)と説明手法(Guided Backpropagation、Integrated Gradients、LIME)の組み合わせを評価した。その結果、Ensemblesがほとんどの組み合わせで両テストに合格することが示された。一方、他の手法の組み合わせでは、テストに合格しないものも見られた。
本研究の提案するサニティチェックは、新しい説明の不確実性推定手法の開発や評価に役立つと考えられる。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Matias Valde... ב- arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17212.pdfשאלות מעמיקות