Core Concepts
オンラインキャリブレーションを用いることで、ベイズ最適化の性能を向上させることができる。
Abstract
本論文では、オンラインキャリブレーションを用いてベイズ最適化の性能を改善する手法を提案している。
まず、モデルベースの意思決定問題においてどのような不確実性が必要かを分析し、キャリブレーションされた不確実性が重要であることを示した。キャリブレーションとは、予測区間の実際の含有率が目標の含有率と一致することを意味する。
次に、非定常なデータ分布に対してキャリブレーションを維持する簡単なオンライン学習アルゴリズムを提案した。このアルゴリズムは、ベイズ最適化に容易に統合でき、計算量と実装コストが低い。
実験では、提案手法がベンチマーク関数や超パラメータ最適化タスクでベイズ最適化の性能を向上させることを示した。キャリブレーションされた不確実性により、より少ない評価回数で最適値に収束できることが確認された。
Stats
80%の予測区間が真の値を含む割合は、時間とともに1/80に収束する。
損失関数の期待値の推定精度が向上する。
Quotes
"キャリブレーションは探索と活用のバランスを取り、目的関数の期待値を推定し、より少ない手順で最適値に到達するのに役立つ。"
"非定常なデータ分布に対してキャリブレーションを維持するための簡単なオンライン学習アルゴリズムを提案した。"