Grunnleggende konsepter
ブラックボックス大域最適化問題において、提案分布と目標分布の間の発散の減少が、期待値ベースの目的関数と量子の両方の改善を保証する。
Sammendrag
本研究では、ブラックボックス大域最適化問題を効率的に解くための新しい発散ベースの条件を提案しています。
まず、提案分布と目標分布の間のKLダイバージェンスまたはRényi ダイバージェンスの減少が、期待値ベースの目的関数の改善を保証することを示しました。さらに、この発散の減少が量子の改善にもつながることを明らかにしました。
提案した発散ベースの条件は、従来のIGOアルゴリズムを特殊ケースとして含むことを示しました。また、混合モデルや重い裾野を持つ提案分布を使ったアルゴリズムにも適用できることを示しました。
この新しい理論的枠組みにより、ブラックボックス最適化アルゴリズムの性能を分析し、改善を保証することができます。特に、有限サンプルサイズの状況でも適用可能であり、アルゴリズムの設計指針を提供します。
Statistikk
提案分布pθk+1が、目標分布πf
θkに対するKLダイバージェンスを、pθkに対するKLダイバージェンスよりも減少させる場合、期待値ベースの目的関数J(θk+1|θk)は、J(θk|θk)=Zwを下回らない。
提案分布pθk+1が、目標分布πf
θkに対するRényiダイバージェンスを、pθkに対するRényiダイバージェンスよりも減少させる場合、期待値ベースの目的関数J(θk+1|θk)は、J(θk|θk)=Zwを下回らない。
発散の減少量∆kが正の場合、条件(6)が満たされ、提案分布pθk+1は、現在の提案分布pθkよりも優れている。