Sign In
insight - Effiziente Inferenz großer Sprachmodelle
Effiziente Inferenz großer Sprachmodelle durch Tandem-Transformatoren
Tandem-Transformatoren kombinieren ein kleines autoregessives Modell mit einem großen Modell, das im Blockverfahren arbeitet, um die Inferenzgeschwindigkeit großer Sprachmodelle zu verbessern, ohne dabei die Genauigkeit signifikant zu beeinträchtigen.
Beschleunigung der Inferenz großer Sprachmodelle durch sparsamkeitsbewusstes KV-Caching
ALISA, eine neuartige Algorithmus-System-Co-Design-Lösung, beschleunigt die Inferenz großer Sprachmodelle in ressourcenbeschränkten Systemen durch sparsamkeitsbewusstes KV-Caching und dynamische Ablaufplanung.
Products | Resources
© 2024 by Linnk AI