Core Concepts
本稿では、関数制約付き確率的最適化問題に対する効率的なアルゴリズムである、CoSTA(Constrained STORM Successive Convex Approximation)を提案する。CoSTAは、反復ごとに目的関数と制約関数の凸代理を構築し、得られた凸最適化問題を解く、逐次凸近似(SCA)に基づいている。CoSTAは、分散削減とアルゴリズムの収束を加速させるために、確率的目的関数の勾配を追跡するための再帰的な更新規則を採用している。提案されたアルゴリズムは、制約のない問題を解決するための最先端の確率的最適化アルゴリズムによって達成されるものとほぼ同等の、ほぼ最適な確率的一次(SFO)の複雑さを達成している。
Idrees, B. M., Arora, L., & Rajawat, K. (2024). Constrained Stochastic Recursive Momentum Successive Convex Approximation. arXiv preprint arXiv:2404.11790v2.
本論文では、軌道生成、スパース近似、ロバスト分類など、関数制約を持つ確率的最適化問題を効率的に解決することを目的とする。特に、既存の手法よりも優れた確率的一次(SFO)の複雑さを達成する、CoSTAと呼ばれる新しいアルゴリズムを提案している。