Основные понятия
パラメータ効率的ファインチューニングを用いることで、大規模事前学習モデルを連邦学習に活用しつつ、通信コストを大幅に削減できる。
Аннотация
本論文は、連邦学習における通信コストの課題に取り組むため、パラメータ効率的ファインチューニング手法を提案する新しい枠組み「FedPEFT」を紹介している。
具体的には以下の通り:
従来の連邦学習では、全モデルパラメータを通信する必要があり、大規模な事前学習モデルを使うと通信コストが膨大になる問題があった。FedPEFTでは、モデルの一部のパラメータのみを更新・通信することで、通信コストを大幅に削減できる。
FedPEFTでは、事前学習モデルの一部のパラメータのみを微調整する手法(バイアス調整、アダプタ、プロンプト)を提案し、評価を行っている。
様々な連邦学習の設定(クライアント数、データ分布など)や、プライバシー保護、データ不足などの課題に対するロバスト性も検証している。
提案手法FedPEFTは、大規模事前学習モデルを活用しつつ通信コストを大幅に削減でき、かつ様々な連邦学習の課題に対してロバストな性能を発揮することが示された。
Статистика
従来の連邦学習では、ViT-Baseモデルの全パラメータ(約85.88M)を通信する必要があるが、FedPEFTでは0.17Mパラメータのみを通信すれば良い。
これにより、通信コストは約328MBから0.68MBに削減できる。
Цитаты
"FedPEFTは、大規模事前学習モデルを活用しつつ通信コストを大幅に削減でき、かつ様々な連邦学習の課題に対してロバストな性能を発揮する。"