淺析在無梯度噪音下如何塑造權重矩陣頻譜的重尾分佈

在無梯度噪音的情況下,通過合理設置優化器的學習率,可以在兩層神經網路中誘導權重矩陣頻譜呈現重尾分佈,並與良好的泛化性能相關。