Der Artikel stellt den FedRA-Algorithmus für föderiertes Feintuning von Grundmodellen auf Daten heterogener Clients vor.
Zunächst wird das Problem des föderiertes Feintunings für heterogene Clients (HeFT) definiert. Dabei können nicht alle Clients das gesamte Grundmodell verarbeiten, was zu Herausforderungen führt.
Bestehende Ansätze wie "Width-based" und "Depth-based" Methoden werden diskutiert und deren Nachteile aufgezeigt. Insbesondere das Merkmalsungleichgewicht in den höheren Schichten des Modells, das durch Depth-based Methoden entsteht, wird als Problem identifiziert.
Der FedRA-Algorithmus adressiert diese Herausforderung, indem in jeder Kommunikationsrunde eine zufällige Allokation von Modellschichten an die Clients erfolgt. Dadurch lernen alle Schichten des Modells von allen Clients, was das Merkmalsungleichgewicht vermeidet.
FedRA ist einfach zu implementieren, erfordert keine Änderungen am Modell und kann mit bestehenden Adapter-basierten Feintuning-Methoden kombiniert werden. Experimente auf großen Bilddatensätzen zeigen, dass FedRA die Leistung bestehender Methoden deutlich übertrifft, auch in Szenarien extremer Heterogenität der Clients.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések