Keskeiset käsitteet
言語モデルの効率的な訓練において、スケール不変性を提案し、連邦学習と差分プライバシーの両方で優れた結果を達成した。
Tiivistelmä
クロスデバイス連邦学習は、SGDがクライアント最適化手法として好まれるが、中央集権型のニューラル言語モデルのトレーニングでは適応型最適化手法が好まれる。
新しいスケール不変性Coupled Input Forget Gate(SI CIFG)再帰ネットワークは、従来のCIFG再帰モデルよりも収束が速く、大規模な実験でより良い効用を実現することを示す。
スケール不変性修正は、他の非適応型アルゴリズムでも改善されたプライバシー効用トレードオフを提供する。
プライバシー保護技術と組み合わせた連邦学習における強力なプライバシー保護も可能。
Tilastot
SGDやAdamなどの最適化手法に関する重要な数字やメトリクスはありません。
Lainaukset
"We propose a scale-invariant Coupled Input Forget Gate (SI CIFG) recurrent network by modifying the sigmoid and tanh activations in the recurrent cell."
"Our proposed SI-CIFG yields the best final quality and has the fastest convergence speed by far."