大規模言語モデルの資源制限デバイスでのフェデレーテッド・プロキシチューニング

フェデレーテッド学習において、大規模言語モデルのパラメータにアクセスせずに、小規模モデルのチューニングと知識蒸留を組み合わせることで、効率的かつプライバシーを保護しつつ大規模モデルの性能を引き出すことができる。