Core Concepts
Eine neuartige Decodierungsstrategie namens Hierarchisches Überspringen von Decodierungsschichten (HSD) wird vorgestellt, um die Effizienz der autoregressiven Textgenerierung zu verbessern, ohne die Textqualität stark zu beeinträchtigen.
Abstract
Die Studie präsentiert eine neue Decodierungsstrategie namens Hierarchisches Überspringen von Decodierungsschichten (HSD) für eine effizientere autoregressive Textgenerierung. Im Gegensatz zu bestehenden Methoden, die zusätzliche trainierbare Komponenten erfordern, ist HSD eine Plug-and-Play-Methode, die auf autoregressive Textgenerierungsmodelle anwendbar ist. HSD überspringt die Decodierungsschichten in einer hierarchischen Art und Weise basierend auf der aktuellen Sequenzlänge, um den Rechenaufwand zu reduzieren und die Rechenressourcen effizienter zu nutzen.
Umfangreiche Experimente auf fünf Textgenerierungsdatensätzen mit vortrainierten Sprachmodellen zeigen, dass HSD Vorteile beim Ausgleich zwischen Effizienz und Textqualität bietet. Obwohl etwa 40-60% der Schichten während der Inferenzphase übersprungen werden, kann HSD etwa 70-90% der ROUGE-Werte und BLEU-1 im Vergleich zur herkömmlichen autoregressiven Decodierung beibehalten und schneidet damit besser ab als konkurrierende Ansätze.
Stats
Die durchschnittliche Anzahl der verwendeten Decodierungsschichten beträgt etwa 15-25 von 36 Schichten für GPT-2 und 15-27 von 32 Schichten für Phi-2.
Quotes
Keine relevanten Zitate gefunden.