本論文では、分離可能な(非凸)目的関数に対する一定ステップサイズ勾配降下法(SGD)のマルコフ連鎖の収束性を分析している。
主な結果は以下の通り:
マルコフ連鎖の状態空間は、一様遷移集合と互いに素な吸収集合の和集合に分解される。各吸収集合には一意の不変測度が存在する。
全ての不変測度の集合は凸包となり、これらの不変測度は幾何学的収束率で大域的引き付け点となる。
不変測度の数と支持集合に関する上界を示した。
拡散近似の失敗例、不変測度の支持集合が大域最小値の近傍外にある例、bifurcationによる局所最小値間の遷移の例を示した。
理論的な証明には、単調写像を持つ反復関数システムの収束理論を活用している。特に、Dubins-Freedman分割条件の検証が重要な役割を果たしている。
Para Outro Idioma
do conteúdo original
arxiv.org
Principais Insights Extraídos De
by David Shirok... às arxiv.org 09-20-2024
https://arxiv.org/pdf/2409.12243.pdfPerguntas Mais Profundas