
ALISA, eine neuartige Algorithmus-System-Co-Design-Lösung, beschleunigt die Inferenz großer Sprachmodelle in ressourcenbeschränkten Systemen durch sparsamkeitsbewusstes KV-Caching und dynamische Ablaufplanung.


coremsg

beschleunigung-der-inferenz-großer-sprachmodelle-durch-sparsamkeitsbewusstes-kv-caching


Beschleunigung der Inferenz großer Sprachmodelle durch sparsamkeitsbewusstes KV-Caching


title_rewrite


Tandem-Transformatoren kombinieren ein kleines autoregessives Modell mit einem großen Modell, das im Blockverfahren arbeitet, um die Inferenzgeschwindigkeit großer Sprachmodelle zu verbessern, ohne dabei die Genauigkeit signifikant zu beeinträchtigen.


effiziente-inferenz-großer-sprachmodelle-durch-tandem-transformatoren


Effiziente Inferenz großer Sprachmodelle durch Tandem-Transformatoren
