Sign In
insight - Effiziente Transformer-Architekturen
Schnelle Transformer-Modelle durch Skizzen für polynomiale Kerne
Dieser Artikel präsentiert PolySketchFormer, eine praktische lineare Transformer-Architektur für Sprachmodellierung, die provable Garantien bietet. Durch die Verwendung von Polynomkerneln hohen Grades und effizienten Skizzierungstechniken aus der numerischen linearen Algebra kann PolySketchFormer die Trainingslatenz im Vergleich zu herkömmlichen Transformer-Modellen deutlich reduzieren, ohne Qualitätseinbußen zu verzeichnen.
Dynamisches Zuweisen von Rechenleistung in transformerbasierenden Sprachmodellen
Transformer-Modelle können lernen, Rechenleistung dynamisch und kontextabhängig über die Eingabesequenz und Modelltiefe zuzuweisen, um die Gesamtrechenleistung zu reduzieren, ohne die Leistung zu beeinträchtigen.
Products | Resources
© 2024 by Linnk AI