מושגי ליבה
本稿では、非平滑非凸関数の最小化において、確率的劣勾配法の大域的安定性と収束性を保証する一般的な枠組みを提案する。特に、提案する枠組みは、広く用いられている確率的勾配降下法(SGD)の多くの変種に適用可能であり、それらの反復が安定集合の近傍に収束することを理論的に示す。
תקציר
確率的劣勾配法の大域的安定性保証に関する研究論文の概要
Xiao, N., Hu, X., & Toh, K.-C. (2024). Stochastic Subgradient Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization. arXiv preprint arXiv:2307.10053v4.
本研究は、非平滑非凸最適化問題において、確率的劣勾配法の大域的安定性と収束性を保証することを目的とする。特に、深層学習で広く用いられるReLUなどの非平滑な活性化関数を含むニューラルネットワークの学習における収束性の保証を目指す。