Основные понятия
DNN圧縮における最適なネットワークの希薄性を情報理論的なダイバージェンス尺度を用いて説明する。
Аннотация
この論文では、深層ニューラルネットワーク(DNNs)の計算量とストレージ消費がネットワーク圧縮の概念につながっていることが強調されています。従来からあるDNN圧縮技術には、剪定や低ランク分解などがありますが、これらの理論的説明には十分な注意が払われていませんでした。本稿では、DNN重みの確率的潜在空間を活用し、情報理論的ダイバージェンス尺度を使用して最適なネットワーク希薄性を説明する新しい理論フレームワークを提案しています。我々は、DNNsのための新しい類似投影パターン(AP2)および確率上で類似した投影パターン(AP3)概念を導入し、その存在する関係性とパフォーマンスというものを証明します。さらに、我々は圧縮されたネットワークのトレーニングプロセスを説明する理論分析も提供します。これらの理論結果はAlexNet、ResNet50、VGG16などの標準事前トレーニング済みデータセットで行われた実験によって経験的に検証されています。
Статистика
KL(Pω(l)∥Peω(l))
eZ(l) ∼ Peω(l)
Z(l) ∼ Pω(l)
f (l−1)
f (l)
ef (l−1)
ef (l)
ω(l)
eω(l)
Цитаты
"我々は新しいフレームワークが重要であると考えます。このフレームワークは重みテンソルが主要なパラメータとして機能する確率的潜在空間を利用して、ネットワーク希薄性を効果的に説明します"
"我々は提案された理論フレームワークが多くの貢献点で優れていることを示す実験を行っています"
"我々は最適な剪定方法が精度保持に与える重要な役割について詳細に説明します"