Core Concepts
ラベル付きデータを必要とせずに、ドロップアウト推論を用いて適応モデルの正確性を推定する手法「AETTA」を提案する。
Abstract
本論文では、ラベル付きデータを必要とせずにテストデータ適応時のモデルの正確性を推定する手法「AETTA」を提案している。
まず、ドロップアウト推論を用いて適応モデルの予測と比較することで、予測の不一致度合いを正確性の指標とする手法を提案した(Disagreement Equality)。さらに、適応失敗時にモデルが過度に自信を持つ問題に対処するため、予測確率を動的に調整する手法(Robust Disagreement Equality)を提案した。
提案手法は、4つのベースラインと6つのテストデータ適応手法に統合して評価を行った。その結果、提案手法は平均で19.8%ポイントより正確な推定を行うことができることが示された。また、提案手法を用いたモデル復旧の事例研究を通して、正確性推定の有用性が実証された。
Stats
適応失敗時、モデルの予測確率が高くなる傾向がある
適応失敗時の予測確率分布は偏っている
Quotes
「適応失敗時、モデルの予測が過度に自信を持つ問題に対処するため、予測確率を動的に調整する手法を提案した」
「提案手法は平均で19.8%ポイントより正確な推定を行うことができる」