Effiziente Parallelisierung tiefer neuronaler Netzwerke durch zyklische Datenparallelität

Kernekoncepter

Zyklische Datenparallelität (CDP) ist ein neues Paradigma, das die Ausführung von Micro-Batches von gleichzeitig zu sequenziell verschiebt, um den Kommunikationsaufwand und den Gesamtspeicherverbrauch während des Trainings zu reduzieren.

Resumé

Der Artikel stellt ein neues Paradigma namens "Zyklische Datenparallelität" (CDP) vor, das die Ausführung von Micro-Batches in Datenparallelität (DP) von gleichzeitig zu sequenziell verschiebt. Dadurch werden der Kommunikationsaufwand und der Gesamtspeicherverbrauch während des Trainings reduziert.
In DP wird das zu trainierende Modell auf mehrere Arbeiter repliziert. Während jedes Trainingsschritts wird ein Mini-Batch der Daten gleichmäßig auf die Arbeiter in sogenannte Micro-Batches aufgeteilt. Jeder Arbeiter führt dann eine Vorwärts- und Rückwärtspropagation für jeden Micro-Batch durch, und die lokal berechneten Gradienten werden anschließend über alle Arbeiter gemittelt, um den Gradienten für den gesamten Mini-Batch zu erhalten.
DP hat jedoch große Nachteile: Der Kommunikationsschritt zwischen den Arbeitern ist synchron, da alle Arbeiter ihre Gradientenberechnungen abschließen müssen, bevor kommuniziert wird, was zu untätigen Arbeitern führt. Außerdem müssen die Gradienten global mit einer All-Reduce-Operation kommuniziert werden, was bei steigender Anzahl von Arbeitern eine Herausforderung darstellt. Schließlich wächst der Gesamtspeicher, der von allen Arbeitern verwendet wird, linear mit der Anzahl der Arbeiter, da das Modell auf jedem Arbeiter vollständig repliziert wird.
CDP adressiert diese Probleme, indem es die Ausführungszeit der Arbeiter in DP von gleichzeitig zu sequenziell verschiebt. Jeder Arbeiter führt entweder einen Vorwärts- oder einen Rückwärtsschritt für einen einzelnen und eindeutigen Micro-Batch durch. Dadurch wird der Kommunikationsaufwand für Gradienten von einer kollektiven Kommunikation am Ende des Trainingsschritts zu punktuellen Kommunikationen über den gesamten Trainingsschritt verteilt. Außerdem wird der Gesamtspeicher, der von allen Arbeitern verwendet wird, ausgeglichen, was jedoch zu einer leichten Verzögerung der Gradienten führt.
CDP kann mit Standard-Parallelisierungsimplementierungen wie Modellparallelität (MP) und Zero Redundancy Optimizer powered DP (ZeRO-DP) kombiniert werden, um weitere Verbesserungen zu erzielen. Die empirischen Ergebnisse zeigen, dass die Gradientenverzögerung von CDP zu einer gleichwertigen Ausbildung von tiefen neuronalen Netzwerken im Vergleich zu DP auf großen CIFAR-10- und ImageNet-Datensätzen führt.

Statistik

Die Aktivierungsspeichernutzung variiert während des Trainings mit CDP deutlich weniger als mit DP, da der Spitzenwert des Aktivierungsspeichers bei CDP etwa 30% niedriger ist als bei DP für ein ResNet-50-Modell und 42% niedriger für ein ViT-B/16-Modell.

Citater

"Zyklische Datenparallelität (CDP) ist ein neues Paradigma, das die Ausführung von Micro-Batches von gleichzeitig zu sequenziell verschiebt, um den Kommunikationsaufwand und den Gesamtspeicherverbrauch während des Trainings zu reduzieren."
"CDP kann mit Standard-Parallelisierungsimplementierungen wie Modellparallelität (MP) und Zero Redundancy Optimizer powered DP (ZeRO-DP) kombiniert werden, um weitere Verbesserungen zu erzielen."

Vigtigste indsigter udtrukket fra

Cyclic Data Parallelism for Efficient Parallelism of Deep Neural Networks

by Louis Fourni... kl. arxiv.org 03-15-2024

https://arxiv.org/pdf/2403.08837.pdf

Dybere Forespørgsler

Wie könnte CDP mit anderen Parallelisierungsansätzen wie Tensor-Parallelität kombiniert werden, um die Effizienz weiter zu steigern?

Um die Effizienz von Cyclic Data Parallelism (CDP) weiter zu steigern, könnte es mit anderen Parallelisierungsansätzen wie Tensor-Parallelität kombiniert werden, um die Kommunikation und Speichernutzung zu optimieren. Bei der Kombination von CDP mit Tensor-Parallelität könnten die Aktivierungen und Gradienten effizient zwischen den Schichten aufgeteilt und übertragen werden. Dies würde es ermöglichen, die Vorteile von CDP, wie die gleichmäßige Verteilung der Speichernutzung und Kommunikation, mit den Vorteilen von Tensor-Parallelität, wie der effizienten Verteilung von Berechnungen auf mehrere GPUs, zu kombinieren. Durch diese Kombination könnten Modelle schneller trainiert werden und die Gesamtleistung verbessert werden.

Wie könnte eine asynchrone oder zufällige Verzögerung der Gradienten in CDP die Konvergenz und Leistung des Modells beeinflussen?

Eine asynchrone oder zufällige Verzögerung der Gradienten in CDP könnte die Konvergenz und Leistung des Modells beeinflussen, aber in der Regel nicht signifikant. Studien haben gezeigt, dass kleine Verzögerungen in der Aktualisierung der Gradienten die Konvergenz von Modellen nicht wesentlich beeinträchtigen. In der Praxis haben große neuronale Netzwerke gezeigt, dass sie auch mit Verzögerungen in der Aktualisierung der Gradienten konvergieren können, ohne die Leistung zu beeinträchtigen. Durch die Verwendung von CDP mit einer kleinen Verzögerung der Gradienten können immer noch gute Ergebnisse erzielt werden, während die Vorteile der gleichmäßigen Speichernutzung und Kommunikation beibehalten werden.

Wie könnte CDP für das Training von Transformator-basierten Modellen optimiert werden, um die beobachteten Vorteile bei homogenen Schichten weiter zu verbessern?

Für das Training von Transformator-basierten Modellen könnte CDP weiter optimiert werden, um die beobachteten Vorteile bei homogenen Schichten zu verbessern. Eine Möglichkeit wäre die Anpassung der Verzögerung der Gradienten an die spezifischen Anforderungen von Transformator-Modellen. Da Transformator-Modelle oft eine gleichmäßige Verteilung der Berechnungen erfordern, könnte die Verzögerung so eingestellt werden, dass sie die gleichmäßige Ausführung der Schichten unterstützt. Darüber hinaus könnte die Implementierung von CDP für Transformator-Modelle spezifische Optimierungen für die Kommunikation und Speichernutzung enthalten, um die Effizienz weiter zu steigern. Durch die Feinabstimmung von CDP für Transformator-Modelle könnten die beobachteten Vorteile bei homogenen Schichten noch weiter verbessert werden.