非線形等式制約付き確率的最適化のための高確率複雑性境界を持つ逐次二次計画法
本論文では、目的関数の正確な値や導関数が利用できない場合に、非線形等式制約付き確率的最適化問題を解決するための新しい逐次二次計画法を提案しています。
有限和のためのサブサンプリングされたラインサーチスペクトル勾配法：SLiSeS
大規模データ設定におけるミニバッチサブサンプリングを用いた、有限和の最小化のための効率的な確率的最適化アルゴリズム、SLiSeS (Subsampled Line Search Spectral Gradient Method) を提案する。
制約付き確率的再帰モーメント逐次凸近似
本稿では、関数制約付き確率的最適化問題に対する効率的なアルゴリズムである、CoSTA（Constrained STORM Successive Convex Approximation）を提案する。CoSTAは、反復ごとに目的関数と制約関数の凸代理を構築し、得られた凸最適化問題を解く、逐次凸近似（SCA）に基づいている。CoSTAは、分散削減とアルゴリズムの収束を加速させるために、確率的目的関数の勾配を追跡するための再帰的な更新規則を採用している。提案されたアルゴリズムは、制約のない問題を解決するための最先端の確率的最適化アルゴリズムによって達成されるものとほぼ同等の、ほぼ最適な確率的一次（SFO）の複雑さを達成している。
大規模確率的サドル点問題のためのランダム化ブロック座標 primal-dual 法
高次元決定変数を持つ大規模な確率的サドル点問題を効率的に解決するために、ランダム化ブロック座標 primal-dual 法が提案されています。
確率的最適化における幾何学、計算、および最適性
制約集合が二次凸である場合、対角的に事前調整された確率的勾配法はミニマックス最適ですが、制約が二次凸から逸脱すると、非線形更新が必要になる場合があります。
勾配分位クリッピングを用いたロバストな確率的最適化
本稿では、勾配ノルムの分位数をクリッピングしきい値として用いる、確率的勾配降下法（SGD）の新しいクリッピング戦略を紹介する。この戦略は、裾の重いサンプル（無限分散を含む）や、データストリームにおける一部の外れ値に対してロバストかつ効率的な最適化アルゴリズムを提供する。
非凸-凹ミニマックス問題のための高速化確率的手法：SAPD+
この論文では、非凸-凹ミニマックス問題を解決するための新しい確率的勾配降下法であるSAPD+を提案しています。SAPD+は、既存の手法よりも優れたオラクル複雑さを達成し、特にコンパクト性を仮定しない場合に、強力な理論的保証を提供します。
確率制約付き非線形最適化問題に対する経験的クォンタイル推定アプローチ
確率制約付き非線形最適化問題を解決するために、クォンタイル制約の勾配をサンプルベースで推定する新しいアルゴリズムを提案し、その収束性を理論的に解析した。
© 2024 by Linnk AI