Core Concepts
増分勾配法と増分プロキシ法の最終反復に対する初めての収束保証を提供し、継続学習への応用を探求。
Abstract
増分勾配法と増分プロキシ法における最終反復の収束保証が重要。
継続学習におけるアプリケーションでの課題と解決策が議論されている。
オラクル複雑性に関する新たな一般化が提案されている。
重み付き反復平均への拡張も検討されている。
Introduction:
Incremental gradient and proximal methods are fundamental for optimization. New convergence guarantees for the last iterate are crucial for continual learning applications.
Contributions:
First oracle complexity guarantees for last iterate of incremental gradient method.
Oracle complexity bounds match best known bounds for average iterate.
Generalizations to weighted averaging of iterates discussed.
Further Related Work:
Various empirical approaches proposed to address catastrophic forgetting in continual learning settings.
Stats
η = min(∥x0 − x∗∥2/3, 21/3Tσ2∗L1/3K1/3(1 + β/α)1/3)
f(xK) − f(x∗) ≤ eη2T2σ2∗L(1 + β/α)Kα/β/(1+α/β) + e∥x0 − x∗∥22TηK/(1+α/β)