Core Concepts
ランダム重み摂動(RWP)を活用して深層学習モデルの一般化性能を効率的に向上させる手法を提案する。RWPの収束性と一般化性能のトレードオフを解決し、履歴勾配情報を活用した適応的な摂動生成手法を導入することで、従来のAdversarial Weight Perturbation(AWP)よりも効率的な一般化性能の向上を実現する。
Abstract
本論文では、深層学習モデルの一般化性能を効率的に向上させるための手法を提案している。
まず、ランダム重み摂動(RWP)を活用した手法について分析を行い、RWPには収束性と一般化性能のトレードオフが存在することを示した。この課題に対処するため、オリジナルの損失関数と期待ベイズ損失を組み合わせた混合損失関数(m-RWP)を提案した。これにより、大きな摂動幅を活用しつつ良好な収束性を維持できるようになった。
さらに、履歴勾配情報を活用した適応的なランダム重み摂動生成手法(ARWP)を提案した。これにより、より安定かつ効果的な摂動生成が可能となり、一般化性能がさらに向上した。
提案手法であるm-ARWPは、従来のAdversarial Weight Perturbation(AWP)と比べて、計算コストが半分で済むにもかかわらず、同等以上の一般化性能を達成できることを示した。特に大規模なデータセットにおいて、提案手法の優位性が顕著に現れている。
Stats
提案手法のm-ARWPは、従来のAWPと比べて計算コストが半分で済む
m-ARWPは、CIFAR-100のResNet-18モデルにおいて、AWPよりも0.89%高い精度を達成した
m-ARWPは、ImageNetのResNet-50モデルにおいて、AWPよりも0.89%高い精度を達成した
Quotes
"RWPは計算効率が高いが、従来の手法と比べて一般化性能が劣っている"
"提案手法のm-ARWPは、計算コストが半分で済みながら、従来手法と同等以上の一般化性能を達成できる"