Alapfogalmak
本論文は、分散最適化問題を解決するための2つの新しいアルゴリズム、すなわち勾配追跡付きランダムシャッフル(GT-RR)とExact Diffusion付きランダムシャッフル(ED-RR)を提案する。これらのアルゴリズムは、中央集中型ランダムシャッフル(CRR)と同等の収束性能を達成しつつ、既存の分散ランダムシャッフル手法よりも優れた理論的保証を提供する。
Kivonat
本論文は、分散最適化問題を解決するための2つの新しいアルゴリズムを提案している。
- Gradient Tracking with Random Reshuffling (GT-RR)
- 各エージェントが独自のランダムな順列を生成し、それに従ってデータポイントを順次選択する
- 勾配追跡手法を組み合わせることで、中央集中型ランダムシャッフル(CRR)と同等の収束性能を達成
- Exact Diffusion with Random Reshuffling (ED-RR)
- GT-RRと同様にランダムシャッフルを行い、Exact Diffusion手法を組み合わせる
- 通信コストが低減され、CRRと同等の収束性能を達成
両アルゴリズムは、滑らかな非凸目的関数に対して O(1/[(1-λ)1/3m1/3T2/3])の収束率を達成する。さらに、目的関数がPL条件を満たす場合、O(1/[(1-λ)mT2])の収束率を達成する。これらの結果は、中央集中型ランダムシャッフル手法と同等の性能であり、既存の分散ランダムシャッフル手法よりも優れている。
Statisztikák
滑らかな非凸目的関数に対する収束率: O(1/[(1-λ)1/3m1/3T2/3])
PL条件を満たす目的関数に対する収束率: O(1/[(1-λ)mT2])