稀疏最大更新參數化：一種針對稀疏訓練動態的整體方法（探討其在穩定訓練動態和降低調參成本方面的效果）

核心概念

本文提出了一種新的參數化方法 SµPar，它可以穩定稀疏神經網路的訓練動態，並顯著降低調參成本，使其在訓練成本和效能上都能夠與密集模型競爭。

摘要

論文資訊：

Sparse maximal update parameterization: A holistic approach to sparse training dynamics
Nolan Dey, Shane Bergsma, Joel Hestness (Cerebras Systems)

研究目標：

本研究旨在解決稀疏神經網路訓練過程中存在的挑戰，包括訊號傳播受阻和調參成本高昂等問題，並提出更有效的訓練方法。

方法：

本文提出了一種稱為稀疏最大更新參數化（SµPar）的新方法，它通過參數化權重初始化和學習率來確保激活、梯度和權重更新都與稀疏度無關。

主要發現：

• 與標準參數化和 µP 相比，SµPar 能夠在不同的稀疏度下保持穩定的激活規模和最佳超參數。
• 在大規模語言模型預訓練中，隨著稀疏度的增加，SµPar 的效能優於標準參數化和 µP。
• SµPar 可以將小型模型的最佳超參數直接遷移到大規模模型，從而顯著降低調參成本。

主要結論：

SµPar 為稀疏神經網路訓練提供了一種整體方法，可以穩定訓練動態，降低調參成本，並提高模型效能。這為稀疏模型的廣泛應用鋪平了道路，使其在保持高效能的同時，還能降低計算成本。

意義：

本研究對於推動稀疏神經網路的發展具有重要意義，特別是在資源受限的環境下，例如邊緣計算和移動設備。

局限性和未來研究方向：

• SµPar 需要針對動態稀疏訓練進行進一步的擴展。
• 未來需要進一步研究 SµPar 在其他類型神經網路和任務上的表現。
• 需要探索軟硬體協同設計，以充分發揮稀疏模型的潛力。

統計資料

在 99.2% 的稀疏度下，SµPar 的損失比標準參數化低 11.9%。
在 99.2% 的稀疏度下，SµPar 的損失比 µP 低 1.9%。
SµPar 在 ARC-easy、Lambada、RACE、PIQA 和 BoolQ 等五項下游任務上的平均準確率均優於標準參數化和 µP。

引述

"With impaired training dynamics, prohibitive tuning cost, and lacking the established training recipes enjoyed by dense models, it is often inefficient to train sparse networks at scale."
"SµPar is defined as the unique parameterization that satisfies the FLD by ensuring the typical element size of Y, ∇XL, and ∆Y is Θ(1) with respect to change in width md and change in density mρ."
"SµPar enables stable activation scales across sparsity levels."
"As sparsity increases, our formulation shows the standard parameterization (SP) and µP suffer from vanishing signal, further clarifying prior observations of gradient flow issues in sparse networks."
"SµPar (largely) forms the Pareto frontier with an average gap of 0.8% better than SP and 2.1% better than µP."
"SµPar is the only parameterization that ensures stable activation scales and stable optimal HPs across model widths and sparsities, satisfying the FLD."

從以下內容提煉的關鍵洞見

Sparse maximal update parameterization: A holistic approach to sparse training dynamics

by Nolan Dey, S... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2405.15743.pdf

深入探究

SµPar 如何應用於其他類型的稀疏性，例如結構化稀疏性？

SµPar 的核心概念是根據稀疏度調整模型的初始化和學習率，以維持穩定的訓練動態。雖然文章主要探討隨機非結構化稀疏性，但 SµPar 的概念可以擴展到結構化稀疏性，特別是 2:4 稀疏模式。

2:4 稀疏性： 由於 2:4 稀疏性在期望上也具有均勻的稀疏度分佈，SµPar 可以直接應用。在這種情況下，我們可以將 SµPar 中的密度 ρ 理解為 2:4 稀疏模式下的有效密度。
其他結構化稀疏性： 對於其他結構化稀疏性，例如 block sparsity，需要根據具體的稀疏模式調整 SµPar 的公式。主要的挑戰在於如何準確地計算稀疏模式對激活、梯度和權重更新的影響，並據此調整初始化和學習率。
總之，SµPar 的核心思想可以應用於結構化稀疏性，但需要根據具體的稀疏模式進行調整。

如果將 SµPar 與其他提升稀疏模型訓練的技術結合，例如動態稀疏訓練，會產生什麼樣的影響？

如文章 4.4 節所述，將 SµPar 直接應用於動態稀疏訓練（DST）會遇到挑戰。

權重分佈變化： DST 方法會動態更新稀疏遮罩，導致非零權重的分佈不再是高斯分佈，這與 SµPar 的假設相違背。
過度修正： 與隨機剪枝相比，動態稀疏訓練方法（例如，幅度剪枝）能更好地維持密集網路中的激活和梯度大小。由於 SµPar 假設權重服從高斯分佈，因此在動態稀疏訓練中可能會「過度修正」初始化和學習率。
儘管 SµPar 不能直接應用於 DST，但它為結合其他技術提供了新的思路：

開發更通用的參數化方法： 未來可以研究更通用的參數化方法，使其適用於任意稀疏訓練算法，包括動態稀疏訓練。
結合 SµPar 的部分思想： 可以借鑒 SµPar 中控制激活、梯度和權重更新規模的思想，将其整合到 DST 方法中，以提升訓練效果。

SµPar 的出現是否意味著我們可以重新評估密集模型的必要性，並更多地關注稀疏模型的發展？

SµPar 的出現為稀疏模型的訓練提供了更穩定的方法，也讓我們看到了稀疏模型的巨大潜力。然而，現階段就完全否定密集模型的必要性還為時尚早。

硬體加速的限制： 稀疏模型的真正优势在于推理效率的提升，但这需要硬體的配合。目前，針對非結構化稀疏性的硬體加速方案還不夠成熟，這限制了稀疏模型的應用。
密集模型的成熟生態： 密集模型擁有成熟的訓練方法、豐富的預訓練模型和廣泛的應用場景。
SµPar 的出現推動了稀疏模型的發展，但要完全取代密集模型，還需要克服硬體加速和生態系統方面的挑戰。未來，我們可以更加關注稀疏模型的發展，並積極探索軟硬體協同設計，以充分發揮稀疏模型的優勢。