非線形等式制約付き確率的最適化のための高確率複雑性境界を持つ逐次二次計画法
本論文では、目的関数の正確な値や導関数が利用できない場合に、非線形等式制約付き確率的最適化問題を解決するための新しい逐次二次計画法を提案しています。
有限和のためのサブサンプリングされたラインサーチスペクトル勾配法：SLiSeS
大規模データ設定におけるミニバッチサブサンプリングを用いた、有限和の最小化のための効率的な確率的最適化アルゴリズム、SLiSeS (Subsampled Line Search Spectral Gradient Method) を提案する。
制約付き確率的再帰モーメント逐次凸近似
本稿では、関数制約付き確率的最適化問題に対する効率的なアルゴリズムである、CoSTA（Constrained STORM Successive Convex Approximation）を提案する。CoSTAは、反復ごとに目的関数と制約関数の凸代理を構築し、得られた凸最適化問題を解く、逐次凸近似（SCA）に基づいている。CoSTAは、分散削減とアルゴリズムの収束を加速させるために、確率的目的関数の勾配を追跡するための再帰的な更新規則を採用している。提案されたアルゴリズムは、制約のない問題を解決するための最先端の確率的最適化アルゴリズムによって達成されるものとほぼ同等の、ほぼ最適な確率的一次（SFO）の複雑さを達成している。
大規模確率的サドル点問題のためのランダム化ブロック座標 primal-dual 法
高次元決定変数を持つ大規模な確率的サドル点問題を効率的に解決するために、ランダム化ブロック座標 primal-dual 法が提案されています。
確率的最適化における幾何学、計算、および最適性
制約集合が二次凸である場合、対角的に事前調整された確率的勾配法はミニマックス最適ですが、制約が二次凸から逸脱すると、非線形更新が必要になる場合があります。
勾配分位クリッピングを用いたロバストな確率的最適化
本稿では、勾配ノルムの分位数をクリッピングしきい値として用いる、確率的勾配降下法（SGD）の新しいクリッピング戦略を紹介する。この戦略は、裾の重いサンプル（無限分散を含む）や、データストリームにおける一部の外れ値に対してロバストかつ効率的な最適化アルゴリズムを提供する。
