本論文は、6つの代表的な連邦学習アルゴリズム(FedAvg、FedYogi、FedAdam、FedProx、SCAFFOLD、FedDyn)の包括的な性能評価を行っている。
主な知見は以下の通り:
精度-ラウンド数は誤解を招く可能性がある指標であり、実際の計算時間を考慮する必要がある。FedDynは精度-ラウンド数では優れているが、FedAvgに比べて1.58倍の時間がかかる。
アルゴリズムの計算コストは、ハードウェアとニューラルネットワークアーキテクチャによって大きく異なる。一般的に、FedDynなどの最新アルゴリズムはFedAvgに比べて大幅な計算オーバーヘッドがある。ただし、LSTMモデルの場合はその差が小さくなる。
FedDynはクライアント間のパフォーマンス安定性が最も高い。一方、SCAFFOLDはクラスの偏りに弱く、パフォーマンス安定性が低い。サーバ側の最適化アルゴリズム(FedYogi、FedAdam)はクライアント側の最適化アルゴリズムに比べて安定性が高い。
クライアント側の最適化アルゴリズム(SCAFFOLD、FedDyn)は、勾配クリッピングを無効にすると、データ分布が非IIDになるほど、深刻な障害に遭遇する可能性が高い。一方、他のアルゴリズムはほとんど障害に遭遇しない。
以上の結果から、アルゴリズムの選択には精度以外の要素を慎重に検討する必要があることが示された。
Para Outro Idioma
do conteúdo original
arxiv.org
Principais Insights Extraídos De
by Gustav A. Ba... às arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17287.pdfPerguntas Mais Profundas