最後一次迭代的最佳收斂率 - 在重尾噪音下的隨機次梯度法

在非平滑凸問題和可能無界域上的情況下,我們提供了最後一次迭代的最佳(或近乎最佳)收斂率期望。我們考慮僅擁有前p個矩(p∈(1, 2])的重尾噪音。我們的收斂率為(log k)/k(p−1)/p和1/k(p−1)/p,分別適用於無限和有限時域。作為副產品,我們還為平均迭代提供了更好的收斂率,將現有結果改善了一個log k因子。初步實驗支持我們的理論。