本論文は、機械学習などの大規模データアプリケーションで頻繁に現れる、有限個の滑らかな関数の平均を最小化する問題に対する、新しい確率的最適化アルゴリズム、SLiSeSを提案している。この問題は、大量の訓練データセットを扱う際に、計算コストの観点から、完全なデータセットを用いた最適化が困難となる場合に特に重要となる。
SLiSeSは、確率的勾配降下法 (SGD) にスペクトル勾配法とラインサーチを組み合わせることで、従来のSGDよりも高速な収束を実現している。具体的には、以下の3つの要素から構成される。
SLiSeSでは、勾配の推定に用いるサブサンプルを、一定の反復回数ごとに変更する戦略を採用している。これは、従来のSGDのように毎反復でサブサンプルを変更すると、近似ヘッセ行列の固有値に対するスペクトル係数の探索がノイズの影響を受けやすくなるためである。サブサンプルを一定期間固定することで、スペクトル係数がより正確にヘッセ行列のスペクトルを探索できるようになり、目的関数の値を効率的に減少させることができる。
SLiSeSでは、Barzilai-Borwein (BB) 法に基づいて計算されたスペクトル係数をステップサイズとして用いる。ただし、サブサンプルが変更された直後の反復では、ノイズの影響を軽減するために、スペクトル係数の代わりに勾配ノルムの逆数を用いる。
SLiSeSでは、Armijo条件に基づく非単調ラインサーチを用いて、各反復で適切なステップサイズを決定する。これにより、アルゴリズムの収束性を向上させている。
本論文では、SLiSeSの収束解析を行い、一様サンプリングと非一様サンプリングの両方の場合において、確率1で収束することを証明している。さらに、数値実験を通して、SLiSeSが従来のSGDよりも高速に収束することを示している。
SLiSeSは、大規模データ設定における有限和の最小化問題に対して、効率的かつ効果的なアルゴリズムであると言える。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Stef... alle arxiv.org 10-10-2024
https://arxiv.org/pdf/2306.07379.pdfDomande più approfondite