Główne pojęcia
Eine zweistufige Methode des Föderierten Lernens, die Merkmalsstatistiken verwendet, um die Konvergenzrate zu beschleunigen und die Anpassungsfähigkeit des Klassifikators an Langzeitverteilungen zu verbessern.
Streszczenie
Die Autoren stellen eine zweistufige Methode des Föderierten Lernens vor, um die Herausforderungen von Langzeitverteilungen und nicht-IID-Daten zu adressieren.
In der ersten Stufe verwenden sie eine auf maskierten lokalen Merkmalsstatistiken basierende Clustering-Methode (MFSC), um geeignete Clients für die Modellzusammenführung auszuwählen. Dies soll die Konvergenzrate beschleunigen und das Merkmalslernen verbessern, ohne die Privatsphäre zu gefährden.
In der zweiten Stufe generieren sie basierend auf globalen Merkmalsstatistiken synthetische Merkmale, um den globalen Klassifikator umzuschulen. Dabei wenden sie Neugewichtung der Kovarianz und Neuabtastung an, um die Anpassungsfähigkeit des Modells an Langzeitverteilungen zu erhöhen.
Die Experimente auf CIFAR10-LT und CIFAR100-LT zeigen, dass die vorgeschlagene Methode die Genauigkeit und Konvergenzrate im Vergleich zu State-of-the-Art-Methoden verbessert.
Statystyki
Nicht nur das Gesamtdatenvolumen der Schwanzklassen ist gering, sondern auch die Anzahl der Clients mit Daten für diese Klassen ist relativ klein.
Beim zufälligen Auswählen von Clients in jeder Runde haben diejenigen mit Schwanzklassendaten eine geringere Wahrscheinlichkeit, ausgewählt zu werden.
Dies führt dazu, dass das aggregierte globale Modell die Kopfklassen konsistent bevorzugt, was zu einem erheblichen Informationsverlust in Bezug auf die Schwanzklassen führt.
Cytaty
"Nicht nur ist das Gesamtdatenvolumen der Schwanzklassen begrenzt, sondern auch die Anzahl der Clients, die solche Daten besitzen, ist relativ gering."
"Beim zufälligen Auswählen von Clients in jeder Runde haben diejenigen mit Schwanzklassendaten eine geringere Wahrscheinlichkeit, ausgewählt zu werden."
"Dies führt dazu, dass das aggregierte globale Modell die Kopfklassen konsistent bevorzugt, was zu einem erheblichen Informationsverlust in Bezug auf die Schwanzklassen führt."