Ein Verfahren zur Auswahl vertrauenswürdiger Kunden und zur adaptiven Gewichtszuweisung für die Modell-Fusion, um die Zuverlässigkeit und Genauigkeit des globalen Modells zu verbessern.
Ein Verfahren zur Auswahl vertrauenswürdiger Kunden und zur adaptiven Gewichtszuweisung für die Modell-Fusion, um die Zuverlässigkeit und Genauigkeit des globalen Modells zu verbessern.
FedFisher ist ein neuartiger Algorithmus für One-Shot Federated Learning, der Fisher-Informationsmatrizen der lokalen Kundenmodelle nutzt, um ein globales Modell in einem einzigen Kommunikationsschritt zu trainieren.
Der Artikel präsentiert den KnFu-Algorithmus, der die Relevanz und Effektivität des Wissens lokaler Modelle bewertet und nur das effektive Wissen semantischer Nachbarn für jeden Klienten integriert, um die Modellabweichung aufgrund nicht-IID-lokaler Datensätze zu verringern.
Der Artikel präsentiert den KnFu-Algorithmus, der die Relevanz und Effektivität des Wissens lokaler Modelle bewertet und nur die effektiven Erkenntnisse semantischer Nachbarn für jeden Klienten fusioniert. Dies verhindert die Ausbreitung schädlichen Wissens und führt zu effektiven personalisierten lokalen Modellen.
Durch die Verwendung der ersten Momente des approximierten globalen Gradienten und der ersten Reihe der approximierten globalen Hessischen Matrix kann FAGH die Konvergenz des globalen Modelltrainings beschleunigen und so die Anzahl der Kommunikationsrunden und die Trainingszeit reduzieren.
FedImpro verbessert die Generalisierungsleistung in föderiertem Lernen, indem es die Merkmalsverteilungen zwischen Clients angleicht und so die Gradientenähnlichkeit reduziert.
Eine zweistufige Methode des Föderierten Lernens, die Merkmalsstatistiken verwendet, um die Konvergenzrate zu beschleunigen und die Anpassungsfähigkeit des Klassifikators an Langzeitverteilungen zu verbessern.
FedRA, ein neuartiger Algorithmus für föderiertes Feintuning, adressiert die Herausforderung der Merkmalsungleichgewichte in Modellen, die auf Daten von heterogenen Clients trainiert werden, durch eine zufallsbasierte Allokationsstrategie. FedRA ermöglicht eine effiziente Nutzung von Vorwissen aus Grundmodellen, auch wenn nicht alle Clients das gesamte Modell unterstützen können.