Effiziente und effektive Multi-Axis-Query-Methode zur Erstellung hochleistungsfähiger N:M-Sparse-Netzwerke

Die vorgeschlagene Multi-Axis-Query-Methode MaxQ identifiziert die kritischen Gewichte und erstellt ein hochleistungsfähiges N:M-Sparse-Netzwerk, indem sie während des Trainings dynamisch weiche N:M-Masken generiert, die wichtigere Gewichte hervorhebt und effizientere Updates für sie sicherstellt. Während der Laufzeit können die weichen N:M-Masken als Konstanten in das Netzwerk eingefaltet werden, ohne das Sparse-Muster zu verzerren oder zusätzliche Rechenkosten zu verursachen.