本論文は、連邦学習における対照学習を相互情報量の観点から分析している。
主な内容は以下の通り:
連邦学習の文脈でSimCLRを考え、クライアント固有の相互情報量の下限を導出した。この下限は、各クライアントがローカルにSimCLRを最適化し、さらにユーザー検証損失を追加することで得られる。
ラベル付きデータが一部利用可能な場合の拡張を提案した。ラベル依存の下限を導出し、ラベル付きデータを活用するための損失関数を設計した。
非i.i.d.性の異なるソース(ラベルのスキュー、共変量のシフト、ジョイントシフト)が連邦教師なし学習のパフォーマンスに与える影響を分析した。ラベルのスキューが強い場合は大域的な目的関数が有効だが、共変量のシフトが強い場合はローカルな目的関数の方が良いことを示した。
提案手法をSimCLRだけでなく、Spectral CLやSimSiamにも適用し、その有効性を示した。
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Christos Lou... às arxiv.org 05-06-2024
https://arxiv.org/pdf/2405.02081.pdfPerguntas Mais Profundas