Verbesserung der Leistung von Batch-Normalisierung in föderiertem Deep Learning

Основные понятия

Batch-Normalisierung (BN) kann in vielen föderativen Lerneinstellungen die Leistung von Gruppe-Normalisierung (GN) übertreffen, insbesondere wenn die Kommunikationsfrequenz gering ist oder der Grad der Nicht-IID-Verteilung nicht extrem ist. Wir schlagen einen einfachen Ansatz namens FIXBN vor, der die negativen Auswirkungen von BN in föderativem Lernen reduziert, während die positiven Auswirkungen beibehalten werden.

Аннотация

Die Studie untersucht die Verwendung von Batch-Normalisierung (BN) und Gruppe-Normalisierung (GN) in föderiertem Lernen (FL) und zeigt, dass BN in vielen Fällen GN übertrifft.

Zunächst wird eine erweiterte empirische Studie durchgeführt, die zeigt, dass GN nicht in allen FL-Einstellungen besser als BN ist. BN übertrifft GN insbesondere, wenn die Kommunikationsfrequenz gering ist oder der Grad der Nicht-IID-Verteilung nicht extrem ist.

Anschließend wird die Leistung von BN in FL genauer untersucht. Es wird festgestellt, dass die Abweichung der Gradientenberechnung aufgrund der Verwendung von Mini-Batch-Statistiken über die nicht-IID-Clients sowie die Diskrepanz zwischen Trainings- und Teststatistiken die Hauptprobleme darstellen.

Basierend auf diesen Erkenntnissen wird ein einfacher Ansatz namens FIXBN vorgeschlagen. FIXBN startet mit der standardmäßigen Verwendung von BN in FEDAVG und friert dann nach einer bestimmten Anzahl von Kommunikationsrunden die BN-Statistiken ein, um die negativen Auswirkungen zu reduzieren. FIXBN erzielt eine deutliche Verbesserung gegenüber BN und GN in verschiedenen FL-Einstellungen, einschließlich Hochfrequenz-Kommunikation und extremer Nicht-IID-Verteilung.

Darüber hinaus wird gezeigt, dass das Beibehalten des SGD-Momentums während des lokalen Trainings in FEDAVG die Leistung weiter verbessern kann.

Статистика

Die Leistung von BN ist in Hochfrequenz-Kommunikationseinstellungen (z.B. E=1) deutlich schlechter als in zentralisiertem Training.
Die Leistung von BN ist in Einstellungen mit extremer Nicht-IID-Verteilung (z.B. Shards) deutlich schlechter als die von GN.

Цитаты

"Batch-Normalisierung (BN) ist weit verbreitet in zentralisiertem Deep Learning, um Konvergenz und Generalisierung zu verbessern. In föderiertem Lernen (FL) mit dezentralisierten Daten haben frühere Arbeiten jedoch beobachtet, dass das Training mit BN die Leistung beeinträchtigen könnte und empfohlen, es durch Gruppe-Normalisierung (GN) zu ersetzen."
"Wir finden, dass BN in vielen FL-Einstellungen GN übertrifft. Die Ausnahmen sind Hochfrequenz-Kommunikation und extreme Nicht-IID-Regime."

Ключевые выводы из

Making Batch Normalization Great in Federated Deep Learning

by Jike Zhong,H... в arxiv.org 04-01-2024

https://arxiv.org/pdf/2303.06530.pdf

Дополнительные вопросы

Wie können die positiven Auswirkungen von BN auf das Training in zentralisiertem Lernen auch in föderiertem Lernen genutzt werden?

Um die positiven Auswirkungen von Batch Normalization (BN) auf das Training in zentralisiertem Lernen auch in föderiertem Lernen zu nutzen, wurde in der Studie FIXBN vorgeschlagen. FIXBN ist eine zweistufige Trainingsmethode, die darauf abzielt, die negativen Auswirkungen von BN in föderiertem Lernen zu mildern, während die positiven Effekte beibehalten werden. In der ersten Stufe, der Erkundungsphase, wird BN gemäß dem Standardverfahren von FEDAVG angewendet, wobei lokale Mini-Batch-Statistiken für die Normalisierung verwendet werden. Die globalen akkumulierten Statistiken werden ebenfalls aktualisiert. In der zweiten Stufe, der Kalibrierungsphase, werden die lokalen Mini-Batch-Statistiken durch die eingefrorenen globalen akkumulierten Statistiken ersetzt, um die Normalisierung durchzuführen. Dies hilft, die Abweichungen der Gradienten und die Diskrepanzen zwischen Trainings- und Teststatistiken zu reduzieren, was zu einer verbesserten Leistung von BN in föderiertem Lernen führt.

Wie können die theoretischen Erkenntnisse über BN in zentralisiertem Lernen auf föderiertes Lernen übertragen werden?

Die theoretischen Erkenntnisse über Batch Normalization (BN) in zentralisiertem Lernen, insbesondere in Bezug auf die Verwendung von Mini-Batch-Statistiken zur Normalisierung und deren Auswirkungen auf die Gradienten, können auf föderiertes Lernen übertragen werden. In zentralisiertem Lernen hat sich gezeigt, dass die Verwendung von Mini-Batch-Statistiken durch BN positive Effekte auf das Training hat, indem sie die Stabilität verbessern und den Konvergenzprozess beschleunigen. Im föderierten Lernen können jedoch die Unterschiede in den Datenverteilungen der einzelnen Clients zu abweichenden lokalen Mini-Batch-Statistiken führen, was die Effektivität von BN beeinträchtigen kann. Durch die Anwendung von Erkenntnissen aus der zentralisierten Lernumgebung, insbesondere in Bezug auf die Bedeutung von konsistenten Statistiken für die Normalisierung und die Auswirkungen auf die Gradienten, können Lösungen wie FIXBN entwickelt werden, um die Leistung von BN in föderiertem Lernen zu verbessern.

Wie kann die Leistung von föderiertem Lernen mit BN weiter verbessert werden, z.B. durch Anpassungen des Aggregationsverfahrens oder der Kommunikationsstruktur?

Die Leistung von föderiertem Lernen mit Batch Normalization (BN) kann weiter verbessert werden, indem Anpassungen am Aggregationsverfahren und der Kommunikationsstruktur vorgenommen werden. Eine Möglichkeit besteht darin, die Kommunikationsfrequenz zwischen den Clients und dem Server zu optimieren, um eine effizientere Aggregation der globalen Modelle zu ermöglichen. Dies kann dazu beitragen, die Auswirkungen von nicht-IID-Datenverteilungen zu minimieren und die Konvergenzgeschwindigkeit zu erhöhen. Darüber hinaus können verbesserte Aggregationsalgorithmen entwickelt werden, die speziell auf die Besonderheiten von BN in föderiertem Lernen zugeschnitten sind, um eine bessere Integration der lokalen Modelle zu gewährleisten. Die Implementierung von Techniken wie FIXBN, die die Verwendung von Mini-Batch-Statistiken in späteren Trainingsphasen einstellen, kann ebenfalls die Leistung von BN in föderiertem Lernen verbessern. Durch die kontinuierliche Erforschung und Anpassung von Methoden zur Normalisierung und Aggregation können weitere Fortschritte erzielt werden, um die Effizienz und Wirksamkeit von BN in föderiertem Lernen zu steigern.