本論文では、一般的な最適化手法と敵対的ロバスト最適化手法の暗黙的バイアスに関する高速な収束率を示す。
まず、重み付き平均ミラー降下法を提案し、∥·∥q-マージン最大化率をO(log n log T / (q-1)T)と改善する。さらに、より積極的なステップサイズを用いることで、O(1/T(q-1) + log n log T / T^2)の高速な収束率を達成する。
次に、一般ノルムに関する最急降下法について、マージン最大化率をO(log n / T)と改善する。
さらに、ネステロフ加速付きのミラー降下法や、余剰勾配と運動量を用いた最急降下法により、O(log n / T^2(q-1))の極めて高速なマージン最大化率を実現する。
敵対的訓練に関しても、正規化勾配降下法を用いたℓs-AT (s∈(1,2])が、(2,s)-混合ノルムマージン最大化器に対してO(log n / T)の収束率を達成する。さらに、ネステロフ加速付きのℓs-AT (s∈(1,2])は、O(log n / T^2)の高速な収束率を示す。
これらの高速な収束率は、最適化問題を正則化双線形ゲームとして捉え、オンライン学習アルゴリズムを用いて解くことで導出される。この統一的なフレームワークにより、様々な最適化手法の暗黙的バイアスを効率的に分析できる。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Guanghui Wan... at arxiv.org 04-09-2024
https://arxiv.org/pdf/2305.17544.pdfDeeper Inquiries