Effiziente und genaue Quantisierung mit geringer Bitbreite für große Sprachmodelle

Centrala begrepp

Eine adaptive Kanalzusammenstellung, die die Auswirkungen von Aktivierungsausreißern auf die Quantisierung reduziert, sowie eine effiziente gradientenbasierte Fehlerkorrektur, die die Leistung quantisierter großer Sprachmodelle erheblich verbessert.

Sammanfattning

Der Artikel stellt QLLM, eine genaue und effiziente Methode zur Post-Training-Quantisierung mit geringer Bitbreite für große Sprachmodelle (LLMs), vor.

Zunächst wird eine adaptive Kanalzusammenstellung eingeführt, um Aktivierungsausreißer zu unterdrücken. Dazu werden Kanäle mit großen Aktivierungswerten zunächst in mehrere Unterkanäle aufgeteilt, um die Werteverteilung auszugleichen. Anschließend werden ähnliche Kanäle wieder zusammengefasst, um die ursprüngliche Kanalanzahl beizubehalten. Eine adaptive Strategie bestimmt die optimale Anzahl der Unterkanäle für jede Schicht.

Darüber hinaus wird eine effiziente gradientenbasierte Fehlerkorrektur vorgeschlagen, die nur eine kleine Anzahl von niedrigrangigen Gewichten anpasst, während der vorkalibrierte quantisierte Hauptteil des Modells eingefroren bleibt. Dies reduziert den Trainingsaufwand und den Grafikspeicherbedarf erheblich.

Umfangreiche Experimente auf LLaMA-1 und LLaMA-2 zeigen, dass QLLM in der Lage ist, genau quantisierte Modelle effizient zu erstellen. Zum Beispiel kann QLLM das 4-Bit-LLaMA-2-70B-Modell in weniger als 10 Stunden auf einer einzelnen A100-80G-GPU quantisieren und übertrifft damit den vorherigen Stand der Technik um 7,89% bei der durchschnittlichen Genauigkeit über fünf Zero-Shot-Aufgaben.

Statistik

Die Aktivierungen in großen Sprachmodellen enthalten oft Ausreißerkanäle mit deutlich größeren Werten.
Für eine 4-Bit-Quantisierung des LLaMA-1-65B-Modells übertrifft QLLM den Durchschnittsgenauigkeit über fünf Zero-Shot-Aufgaben um 3,42% gegenüber dem vorherigen Stand der Technik.
QLLM kann das 4-Bit-LLaMA-1-7B-Modell in weniger als 10 Stunden auf einer einzelnen A100-80G-GPU quantisieren und übertrifft dabei den QAT-Ansatz LLM-QAT + SQ um 8,6% bei der durchschnittlichen Genauigkeit.

Citat

"Für LLMs, die Milliarden von Parametern enthalten, ist QAT aufgrund der prohibitiv hohen Trainingskosten unpraktisch, so dass PTQ verbreiteter wird."
"Bestehende Studien haben gezeigt, dass insbesondere Aktivierungsausreißer in bestimmten Kanälen die größte Herausforderung für die PTQ-Genauigkeit darstellen."

Viktiga insikter från

QLLM

by Jing Liu,Rui... på arxiv.org 04-09-2024

https://arxiv.org/pdf/2310.08041.pdf

Djupare frågor

Wie könnte man die Inferenzeffizienz der Kanalzusammenstellung weiter verbessern, z.B. durch Kernel-Fusion

Um die Inferenzeffizienz der Kanalzusammenstellung weiter zu verbessern, könnte man die Technik der Kernel-Fusion in Betracht ziehen. Durch die Fusion von Operationen wie der Kanalzerlegung, -zusammenführung und der Schichtnormalisierung in einen einzigen Operator könnte die Effizienz gesteigert werden. Dies würde dazu beitragen, die zusätzlichen Inferenzkosten zu minimieren und die Geschwindigkeit des Inferenzprozesses zu optimieren. Die Kernel-Fusion könnte die Berechnungseffizienz erhöhen und die Ausführung der Kanalzusammenstellung während des Inferenzprozesses weiter beschleunigen.

Wie könnte man die Methode auf andere Arten von großen neuronalen Netzen wie Computer-Vision-Modelle erweitern

Um die Methode auf andere Arten von großen neuronalen Netzen wie Computer-Vision-Modelle zu erweitern, könnte man die Kanalzusammenstellungstechnik auf Convolutional Neural Networks (CNNs) anwenden. Ähnlich wie bei LLMs könnten bestimmte Kanäle in CNNs identifiziert werden, die Ausreißer enthalten, und diese Kanäle könnten in Unterkanäle zerlegt und wieder zusammengeführt werden, um die Quantisierungseffizienz zu verbessern. Durch die Anpassung der Methode an die spezifischen Strukturen und Anforderungen von CNNs könnten auch in diesem Bereich signifikante Verbesserungen bei der Quantisierung und Inferenzgeschwindigkeit erzielt werden.

Welche Auswirkungen hätte eine Anwendung der Kanalzusammenstellung auf andere Quantisierungsansätze wie gewichtsbasierte Quantisierung

Die Anwendung der Kanalzusammenstellung auf andere Quantisierungsansätze wie gewichtsbasierte Quantisierung könnte potenziell zu ähnlich positiven Ergebnissen führen. Durch die Reduzierung von Ausreißern und die Neuzuordnung von Aktivierungsmagnituden auf verschiedene Kanäle könnte die Kanalzusammenstellung auch bei gewichtsbasierten Quantisierungsansätzen dazu beitragen, die Genauigkeit und Effizienz zu verbessern. Die Methode könnte dazu beitragen, die Herausforderungen im Zusammenhang mit Ausreißern und ungleichmäßigen Aktivierungsbereichen zu bewältigen, was letztendlich zu besseren quantisierten Modellen führen könnte.