Keskeiset käsitteet
PERADAは、通信コストと計算コストを削減しながら、特に分布シフトのある環境下でも優れた一般化性能を示す個別化連邦学習フレームワークである。
Tiivistelmä
本論文では、PERADAと呼ばれる個別化連邦学習(pFL)フレームワークを提案している。PERADAは、プリトレーンモデルの力を活用し、クライアントが少数のアダプタパラメータのみを更新・通信することで、計算コストと通信コストを削減する。さらに、サーバ側の知識蒸留を用いて、個別化モデルの一般化性能を向上させている。
具体的には、各クライアントはプリトレーンモデル、個別化アダプタ、ローカルアダプタを持つ。各通信ラウンドで、クライアントはローカルデータを使ってこれらのアダプタを更新し、ローカルアダプタをサーバに送信する。サーバは、受け取ったローカルアダプタを使って知識蒸留を行い、一般化された大域アダプタを学習する。この大域アダプタは、クライアントのローカルアダプタの初期化と正則化に使用される。
理論的には、PERADAの一般化性能と収束性を分析している。PERADAは、分布シフトのある環境下でも優れた一般化性能を示し、既存手法と比べて少ないパラメータ数で高い個別化性能を達成できることを示している。また、差分プライバシー設定下でもPERADAの利点が維持されることを確認している。
Tilastot
クライアントの個別化モデルの平均テストAccuracy:
CIFAR-10のLocal-testは91.82%、Global-testは48.53%
Office-Homeの Local-testは59.05%、Global-testは77.88%
CheXpertのLocal-testは76.98%、Global-testは77.88%