Conceptos Básicos
異なるデータドメインを持つクライアントの間で、反復的なパラメータアラインメントを行うことで、各クライアントに最適化された個別のグローバルモデルを学習する。
Resumen
本研究では、クロスサイロ連邦学習における2つの課題に取り組む。
- クライアントのドメインが大きく異なる場合、現行の連邦学習手法では収束が困難になる問題。
- 現行手法では全クライアントに同一のグローバルモデルが生成されるが、これにはクライアント間の競争関係などの問題がある。
提案手法のIterative Parameter Alignment (IPA)は、各クライアントに個別のグローバルモデルを生成する。IPAは以下の特徴を持つ:
- クライアントのドメインが大きく異なる場合でも安定した収束を実現する
- 各クライアントに固有のグローバルモデルを生成するため、モデル保護の観点で有利
- 収束速度とモデル性能のトレードオフを調整可能で、公平性を担保できる
実験の結果、IPAは既存手法と比べて、ドメイン分断の強い設定でも安定した収束を示し、ベースラインの性能に到達できることを確認した。また、各クライアントに固有のグローバルモデルを生成し、クライアント間の性能差も確認できた。さらに、収束過程における公平性の確保も可能であることを示した。
Estadísticas
異なるラベルを持つクライアントでも、IPAは安定して85%の精度に収束できる
IPAは、ヘテロジーナスなデータ分割でも既存手法と同等以上の収束速度を示す
IPAで生成された各クライアントのモデルパラメータ間のL1距離は、CIFAR-10で1800程度、Fashion-MNISTで200程度となる
IPAで生成された各クライアントのモデル予測の間のハミング距離は、CIFAR-10で2500程度、Fashion-MNISTで2000程度となる
Citas
"クライアントのドメインが大きく異なる場合、現行の連邦学習手法では収束が困難になる問題"
"各クライアントに固有のグローバルモデルを生成するため、モデル保護の観点で有利"
"収束速度とモデル性能のトレードオフを調整可能で、公平性を担保できる"