本文提出了一種線上縮放梯度方法框架，透過線上學習演算法動態調整梯度縮放矩陣，從而加速梯度下降法的收斂速度，並在理論上證明了其相較於傳統方法的優越性。
本文提出了一種基於「隨機函數」框架的新型梯度下降算法——隨機函數下降 (RFD)，並論證了其可行性和優勢，包括尺度不變性以及對梯度裁剪和學習率預熱等啟發式方法的理論解釋。
