Logga in
insikt - Transformer-Architektur
Effiziente Fusion von Text-Transformer-Modellen aus unterschiedlichen Initialisierungen
Untersuchung der Verbindung zwischen Transformer-Modellen aus verschiedenen Initialisierungen zur Verbesserung des Verständnisses der Verlustlandschaft.
NiNformer: Ein Netzwerk im Netzwerk-Transformer mit Token-Mixing-generierter Gating-Funktion
Die Studie stellt den NiNformer vor, der die Aufmerksamkeitsmechanismen der Transformer-Architektur durch ein Netzwerk im Netzwerk ersetzt, um die Effizienz zu steigern.
Produkter | Resurser
© 2024 by Linnk AI