本文提出了一種新的球面數據回歸分析算法,稱為截斷核隨機梯度下降法(T-kernel SGD)。該算法充分利用了球面調和函數的特殊結構,設計了一個可動態調整的函數空間序列,在迭代過程中逐步擴大函數空間以平衡偏差和方差。與傳統核隨機梯度下降法相比,T-kernel SGD可以使用恒定步長達到最優收斂率,並且計算和存儲複雜度大幅降低。具體來說:
T-kernel SGD採用一個由嵌套的有限維函數空間{HLn}n≥0組成的序列,其中HLn是由前L_n個球面調和多項式張成的空間。在第n次迭代中,算法在HLn空間內沿著風險函數的負梯度方向更新估計值。這種方式避免了直接使用核函數的閉形式,而是通過調整L_n來控制函數空間的大小,從而實現偏差和方差的動態平衡。
理論分析表明,在適當的正則性假設下,T-kernel SGD可以使用恒定步長達到最優的收斂速度。與需要嚴格控制步長衰減率的傳統核SGD算法相比,T-kernel SGD更加健壯和自適應。
進一步利用球面調和多項式的特殊結構,作者導出了T-kernel SGD的等價形式,大幅降低了計算和存儲複雜度。具體而言,T-kernel SGD的計算複雜度為O(n^(1+d/(d-1)ε))、存儲複雜度為O(n^(d/(d-1)ε)),其中0<ε<1/2可以任意小。這遠優於傳統核SGD的二次複雜度。
總之,本文提出的T-kernel SGD算法在保證最優收斂性能的同時,大幅提高了計算效率,為大規模球面數據回歸分析提供了一種有效的解決方案。
翻譯成其他語言
從原文內容
arxiv.org
深入探究