Keskeiset käsitteet
ニューラルネットワークトレーニングにおける高性能なアプローチを提案し、メモリ消費を削減して効率を向上させる。
Tiivistelmä
バックプロパゲーションの代替手法として、近似尤度比法が提案されている。
メモリ消費の課題に対処するため、近似技術が導入されており、並列処理も活用されている。
実験結果は、提案手法の有効性を示しており、ニューラルネットワークトレーニングの効率向上に寄与している。
Abstract
バックプロパゲーション以外の効率的なアプローチが求められている。
尤度比法に基づく新しい近似テクニックが提案され、高性能なニューラルネットワークトレーニングを実現する可能性が示唆されている。
Introduction
深層ニューラルネットワーク(DNNs)は多くの応用分野で成功を収めている。
しかし、巨大なパラメータ数を持つDNNsの訓練は時間とコストがかかる課題である。
LR Method for DNN Training
尤度比法(LR)はグラデーション推定戦略として有望だが、多くのコピーによるメモリ消費制約がある。
近似LR方法(ALR)は計算とメモリ要求を軽減し、高性能な訓練戦略を提供する。
Approximated LR Method
サイン符号化により中間変数の記憶を削減し、メモリ消費と計算複雑さを低減する。
LRの内在的並列性を活用した前進専用並列パイプライン戦略も提案されている。
Hardware-efficient LR Training Pipeline
大規模バッチサイズ訓練では前進計算と勾配推定を同時に行うことで効率向上が図られている。
Evaluations
CIFAR-10やTinyImageNetデータセットで実験が行われ、提案手法の有効性が確認された。
Tilastot
LRは勾配推定精度0.36, Hybridは0.42, ALRは0.34, A-Hybridは0.39