本研究では、Unsupervised Adaptive Normalization (UAN)と呼ばれる新しい正規化手法を提案している。UANは、深層学習の訓練プロセスにおいて、ニューロン活性化の分布変化に適応的に対応することができる。
具体的には、UANは以下の特徴を持つ:
深層学習の訓練プロセスと正規化のクラスタリングを同時に行う一段階のアプローチを採用している。これにより、ターゲットタスクに適応した混合ガウスモデルのパラメータを動的に推定することができる。
Batch Normalization (BN)やMixture Normalization (MN)と比べて、アーキテクチャが単純化され、前処理のクラスタリング段階が不要となる。これにより、計算コストが削減される。
動的に変化するニューロン活性化の分布に適応することで、勾配の安定性が向上し、収束速度の高速化と深層学習モデルの性能向上につながる。
実験では、分類タスクとドメイン適応タスクにおいて、UANがBNやMNよりも優れた性能を示すことを確認している。特に、収束速度の向上と分類精度の向上が顕著であった。
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문