核心概念
連邦学習環境において、テスト時の分布シフトに対処するため、グローバルアダプターとローカルアダプターを組み合わせた双方向パーソナライゼーション手法を提案する。
要約
本研究では、連邦基盤モデルのパーソナライゼーションに関する新しい設定を提案している。従来の連邦学習では、各クライアントの特定のタスクに特化したパーソナライゼーションに焦点を当ててきたが、実世界のアプリケーションでは、テスト時にクライアントが他のタスクにも遭遇する可能性がある。
そこで本研究では、テスト時のパーソナライゼーションという新しい設定を提案する。この設定では、各クライアントは自身のデータを使ってパーソナライズされたモデルを訓練し、テスト時にはそのモデルが自身のタスクだけでなく、他のクライアントのタスクにも良好な性能を発揮することが求められる。
この課題に対処するため、本研究では双方向パーソナライゼーション・アダプター(FedDPA)を提案する。FedDPAは、グローバルアダプターとローカルアダプターから構成される。グローバルアダプターは連邦学習によって獲得された一般知識を表し、ローカルアダプターはクライアント固有のタスクに特化したパーソナライゼーションを学習する。さらに、インスタンス単位の動的重み付けメカニズムを導入し、グローバルとローカルの適切な組み合わせを動的に決定する。
実験の結果、提案手法は既存手法と比較して、パーソナライゼーションとテスト時のパーソナライゼーションの両方で優れた性能を示すことが確認された。
統計
クライアントの数は8つのタスクに対応して8つとする。
各クライアントのデータサイズは300の訓練データと200のテストデータである。