連続的に増加するクラスを持つデータに対する連邦クラス増分学習のための新クラス拡張自己蒸留
連邦学習の文脈において、新クラスの得点を過去のモデルの出力に組み込むことで、より包括的で正確な知識移転を実現し、カタストロフィック忘却を軽減する。
連邦学習におけるクォドラティック投票の活用
連邦学習では、参加者の局所モデルを集約して全体モデルを生成する際、1人1票の原則に基づく集約手法は攻撃に脆弱である。本研究では、クォドラティック投票に基づく新しい集約アルゴリズムFEDQVを提案し、理論的・実験的に分析を行った。FEDQVは真実を告げる誘因整合的なメカニズムであり、従来手法と同等の収束性能を持ちつつ、毒素攻撃に対する頑健性を大幅に向上させることができる。さらに、FEDQVは既存の Byzantine-robust 防御手法と容易に統合できるため、相互補完的な関係を築くことができる。
重要な情報を隠さない、正直で情報的な新しいタイトル
ネットワーク構造に特有の側面情報を活用することで、より強力かつ目立たない攻撃を設計できる。
データ異質性による次元崩壊の理解と緩和
データ異質性により、連邦学習の学習モデルが低次元の表現空間に収束してしまうことを発見し、この問題を効果的に緩和する手法を提案する。
連邦学習における勾配漏洩の包括的な分析
連邦学習では、クライアントの個人データを露出することなく協調的にモデルを訓練できるが、クライアントが共有する勾配から個人データを再構築できるという勾配漏洩攻撃が存在する。本研究では、勾配漏洩攻撃の実効性を包括的に分析し、実用的な連邦学習システムにおける限界を明らかにする。
非凸非滑らかな問題に対するプライバシー保護型連邦プライマル・デュアル学習アルゴリズムと疎モデル圧縮
本論文では、非凸非滑らかな問題に対するプライバシー保護型連邦プライマル・デュアル学習アルゴリズムを提案し、モデル圧縮を用いて通信効率を向上させている。
大規模事前学習モデルを連邦学習に活用するための通信制約の克服
パラメータ効率的ファインチューニングを用いることで、大規模事前学習モデルを連邦学習に活用しつつ、通信コストを大幅に削減できる。
連邦学習における通信効率的なクライアントグラジエントの活用
連邦学習では、クライアントデータの異質性と低いクライアント参加率により、収束が遅く不安定になる傾向がある。本手法では、サーバーがグローバルモデルにグローバルモーメンタムを統合して配信し、クライアントがこの加速されたモデルを初期値として使うことで、クライアントの更新を効果的に誘導し、収束を高速化する。さらに、クライアントの更新をグローバルモデルに整合させる正則化項を導入することで、クライアントの更新の一貫性を高める。
連邦学習における効率的なクライアント選択フレームワーク：勾配射影に基づくGPFL
GPFLは、クライアントの局所勾配と全体勾配の方向性を比較することで、クライアントデータの質を正確に評価し、探索と活用のバランスを取ることで、効率的かつ高精度なクライアント選択を実現する。
連邦学習におけるプライバシー保護のための局所学習の活用
連邦学習では、通信コストの削減と同時にプライバシーの保護が重要な課題である。本論文では、局所学習を活用することで、通信コストを削減しつつプライバシーを向上させる連邦学習アルゴリズムを提案する。
© 2024 by Linnk AI