
Untersuchung der Verbindung zwischen Transformer-Modellen aus verschiedenen Initialisierungen zur Verbesserung des Verständnisses der Verlustlandschaft.


coremsg

effiziente-fusion-von-text-transformer-modellen-aus-unterschiedlichen-initialisierungen


Effiziente Fusion von Text-Transformer-Modellen aus unterschiedlichen Initialisierungen


title_rewrite


Die Studie stellt den NiNformer vor, der die Aufmerksamkeitsmechanismen der Transformer-Architektur durch ein Netzwerk im Netzwerk ersetzt, um die Effizienz zu steigern.


ninformer-ein-netzwerk-im-netzwerk-transformer-mit-token-mixing-generierter-gating-funktion


NiNformer: Ein Netzwerk im Netzwerk-Transformer mit Token-Mixing-generierter Gating-Funktion
