本論文では、フェデレーテッド学習の文脈で、言語モデルのファインチューニングを効率的に行うためのFeDeRAを提案している。
まず、フェデレーテッド学習では、クライアントデバイス間のデータ分布の非IID性により、パラメータ効率の高いファインチューニング手法(PEFT)の性能が劣化することが課題として指摘されている。
そこで本手法では、PEFT手法の一つであるLoRAの初期化方法を改善する。具体的には、事前学習済みの重み行列にSVD(特異値分解)を適用し、主成分を抽出してアダプタモジュールの初期化に用いる。これにより、非IID性の高い環境下でも、LoRAと同等以上の性能を維持しつつ、学習の効率も向上させることができる。
実験では、RoBERTaとDeBERTaV3を用いて6つのNLP課題で評価を行った。その結果、FeDeRAは従来のPEFT手法を上回る性能を示し、完全パラメータファインチューニングと同等以上の精度を達成できることが確認された。さらに、ターゲットの精度に到達するまでの学習時間を大幅に短縮できることも示された(最大97.9%の削減)。
以上より、FeDeRAは非IID性の高い環境下でも高い性能と効率性を両立できる優れたファインチューニング手法であると言える。
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies