Centrala begrepp
制約集合が二次凸である場合、対角的に事前調整された確率的勾配法はミニマックス最適ですが、制約が二次凸から逸脱すると、非線形更新が必要になる場合があります。
Sammanfattning
確率的最適化における幾何学、計算、および最適性
この論文は、確率的最適化における問題の幾何学が、計算と統計に与える影響を考察しています。特に、制約集合と勾配の幾何学に焦点を当て、確率的勾配法や適応勾配法がミニマックス最適となる問題群と、逆に最適な収束を得るためにミラー降下法のような非線形更新が必要となる問題群を特徴付けています。
確率的最適化問題において、線形更新(確率的勾配法など)で最適な収束保証を得られるのはどのような場合か、非線形更新(ミラー降下法など)が必要になるのはどのような場合かを明らかにする。
制約集合の幾何学的性質とアルゴリズムの性能の関係を定量的に分析する。
線形推定器がミニマックス最適となる二次凸集合の概念を導入し、その双対性による解釈を与える。
ガウスシーケンスモデルにおける線形推定器と確率的最適化における線形更新の類似性を示し、両者の最適性に必要な条件の違いを分析する。
ℓpボール制約(p < 2)における線形更新の劣最適性を示す情報理論的下限を導出する。