Der Artikel befasst sich mit den Herausforderungen des föderierenden Lernens (FL), insbesondere der Heterogenität lokaler Datensätze und der daraus resultierenden Modellabweichung. Um diese Probleme anzugehen, wird der KnFu-Algorithmus vorgestellt, der eine personalisierte effektive Wissensintegration für jeden Klienten ermöglicht.
Der Algorithmus besteht aus vier Hauptschritten:
Lokales Training: Jeder Klient trainiert sein lokales Modell auf seinem eigenen Datensatz.
Lokale Wissensextraktion: Jedes lokale Modell extrahiert sein Wissen in Form von Softlabels auf einem gemeinsamen Transferdatensatz.
Effektive Wissensfusion: Der Fusionsserver bewertet die Relevanz des Wissens jedes Klienten für andere Klienten anhand der geschätzten Wahrscheinlichkeitsverteilungen (EPDs) der lokalen Modelle. Nur effektives Wissen semantischer Nachbarn wird für jeden Klienten fusioniert.
Lokale Modellverfeinerung: Jeder Klient verfeinert sein lokales Modell, indem er das aggregierte Wissen zusammen mit seinem lokalen Datensatz verwendet.
Die umfangreichen Experimente auf den MNIST- und CIFAR-10-Datensätzen zeigen, dass der KnFu-Algorithmus im Vergleich zu anderen Methoden eine überlegene durchschnittliche lokale Modellgenauigkeit (ALMA) erzielt. Insbesondere in Szenarien mit großen und stark heterogenen lokalen Datensätzen erweist sich das reine lokale Training als vorteilhafter gegenüber wissensbasierten Fusionslösungen.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by S. Jamal Sey... ที่ arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11892.pdfสอบถามเพิ่มเติม