Belangrijkste concepten
データ異質性により、連邦学習の学習モデルが低次元の表現空間に収束してしまうことを発見し、この問題を効果的に緩和する手法を提案する。
Samenvatting
本論文では、連邦学習における主要な課題の1つであるデータ異質性が、学習モデルの表現空間の次元崩壊を引き起こすことを発見しました。
具体的には以下の通りです:
実験的に、データ異質性が強くなるほど、学習モデルの表現空間の主要な特異値が0に近づく傾向があることを示しました。これは、表現空間の次元が縮小されていることを意味します。
この次元崩壊は、クライアントごとに学習された局所モデルから継承されたものであることを明らかにしました。
理論的に、データ異質性がクライアントの局所モデルの重み行列を低ランク化させ、その結果として表現空間の次元崩壊が引き起こされることを示しました。
上記の観察に基づき、局所モデルの学習時に表現の相関を抑制する正則化項を導入したFEDDECORRを提案しました。実験の結果、FEDDECORRは基準手法に比べて一貫して性能を向上させることができました。特に、データ異質性が強い設定で顕著な改善が見られました。
Statistieken
データ異質性が強くなるほど、学習モデルの表現空間の主要な特異値が0に近づく傾向がある。
データ異質性が強い設定では、クライアントの局所モデルの重み行列が低ランク化される傾向がある。