Core Concepts
FedImpro verbessert die Generalisierungsleistung in föderiertem Lernen, indem es die Merkmalsverteilungen zwischen Clients angleicht und so die Gradientenähnlichkeit reduziert.
Abstract
Der Artikel präsentiert FedImpro, einen neuen Ansatz für föderiertes Lernen, der die Generalisierungsleistung verbessert, indem er die Merkmalsverteilungen zwischen Clients angleicht.
Zunächst analysiert der Artikel theoretisch, dass der Beitrag zur Generalisierung durch lokales Training durch den bedingten Wasserstein-Abstand zwischen den Datenverteilungen der Clients begrenzt ist. Daraus leitet der Artikel ab, dass das Teilen ähnlicher Merkmalsverteilungen zwischen Clients entscheidend ist, um die Generalisierungsleistung zu verbessern.
Um dies umzusetzen, schlägt FedImpro vor, das neuronale Netzwerk in einen niedrigstufigen Feature-Extraktor und einen hochstufigen Klassifikator zu unterteilen. Der Klassifikator wird dann auf den geschätzten, global geteilten Merkmalsverteilungen trainiert. Theoretisch zeigt der Artikel, dass dies die Gradientenähnlichkeit zwischen Clients reduziert.
In umfangreichen Experimenten auf verschiedenen Datensätzen demonstriert der Artikel, dass FedImpro die Generalisierungsleistung deutlich verbessert, insbesondere bei stark heterogenen Daten zwischen Clients. FedImpro erreicht höhere Testgenauigkeiten und benötigt weniger Kommunikationsrunden als etablierte Methoden.
Stats
Die Generalisierungsleistung eines lokalen Modells auf anderen Clients-Verteilungen ist durch den bedingten Wasserstein-Abstand zwischen den Verteilungen begrenzt.
Die Gradientenähnlichkeit zwischen Clients kann durch das Teilen ähnlicher Merkmalsverteilungen reduziert werden.
Quotes
"The generalization contribution of a distribution Dm is expected to be large and similar to that of a training dataset ˜Dm."
"Promoting the generalization performance requires constructing similar conditional distributions."