NeuroPrune: Ein neuronspirierter topologischer Sparse-Training-Algorithmus für große Sprachmodelle

NeuroPrune ist ein neuronspirierter Algorithmus, der Sparsität in Transformer-basierten Sprachmodellen durch bevorzugte Anbindung und Redundanzbeseitigung in Aufmerksamkeits- und MLP-Schichten sowie Kopfpruning erzielt. Dadurch werden effizientere und leistungsfähigere Sprachmodelle ermöglicht.