Temel Kavramlar
PAC-Beyes 理論を用いて、収束保証と収束速度のトレードオフを持つ最適化アルゴリズムを学習する。提案手法は、従来の最悪ケース解析に基づく手法よりも優れた性能を示す。
Özet
本論文では、PAC-Beyes 理論を用いて、最適化アルゴリズムの学習に関する理論的枠組みを提案する。
まず、一般的な PAC-Beyes 定理を示す。これは、データ依存の指数型ファミリーに基づいており、損失関数が有界でない場合でも適用可能である。この定理を用いて、最適化アルゴリズムの一般化誤差を上界する定理を導出する。
次に、最適化アルゴリズムの特性を利用して、PAC-Beyes 定理の適用条件を満たすことを示す。これにより、収束保証と収束速度のトレードオフを持つ最適化アルゴリズムを学習できる。
最後に、提案手法の具体的な実装方法を示し、4つの実験を通じて、提案手法が従来手法に比べて大幅に優れた性能を示すことを実証する。
İstatistikler
最適化アルゴリズムの出力 x(i) の損失 ℓ(x(i)) は、初期値 x(0) の損失 ℓ(x(0)) に対して、上界 Cρ(α)ℓ(x(0)) を持つ。
初期値 x(0) の損失 ℓ(x(0)) の2次モーメントは有限である。