本研究では、個人別連邦学習の課題であるクライアントのデータ分布の異質性に対処するため、表現学習に基づく新しいアプローチを提案している。
従来の表現学習では、モデルを「ベース」と「ヘッド」の2つの部分に分割していた。ベース部分は全クライアントで共有され、ヘッド部分はクライアント固有の特徴を捉える。
提案手法では、ベース部分をさらに密に分割し、2つのスケジューリング手法(Vanilla、Anti)を適用する。Vanilla Schedulingは浅い層から順に、Anti Schedulingは深い層から順に層を順次解凍して学習する。
これにより、データ分布の異質性とクラス分布の異質性の両方に対処できる。また、初期の学習ラウンドでは一部のベース層のみを共有することで、通信コストと計算コストを削減できる。
実験の結果、提案手法は既存の個人別連邦学習手法と比べて、特にデータとクラスの両方の異質性が高い環境で高い精度を達成できることが示された。また、Vanilla Schedulingは計算コストを大幅に削減できることも確認された。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Jaewon Jang,... at arxiv.org 04-30-2024
https://arxiv.org/pdf/2404.17799.pdfDeeper Inquiries