Kernkonzepte
PAODING は、プレトレーニングされたニューラルネットワークモデルを、データフリーのプルーニングを通して効率的に縮小することができる。モデルの精度とロバスト性を保ちつつ、大幅な圧縮を実現する。
Zusammenfassung
本論文では、PAODING と呼ばれるデータフリーのニューラルネットワークプルーニングツールを提案している。PAODING は、プレトレーニングされたモデルを入力として受け取り、モデルの精度とロバスト性を保ちつつ、大幅な圧縮を実現する。
PAODING のプルーニングプロセスは以下の3つのステージから成る:
-
サンプリングステージ:
- 畳み込み層では、フィルタのL1ノルムに基づいて、最も影響の小さいチャンネルを選択する。
- 全結合層では、ニューロンペアの類似性と出力への影響に基づいて、最も影響の小さいニューロンを選択する。
-
手術ステージ:
- 選択されたチャンネルやニューロンを、モデルから削除する。
-
再構築ステージ:
評価の結果、PAODING は4つのニューラルネットワークモデルに対して、50%のパラメータを削減しても、精度とロバスト性を50%以上保持できることが示された。また、オンラインのデモンストレーションも公開されている。
Statistiken
25%のプルーニングで、モデルサイズを36.5%-49.4%削減できる
50%のプルーニングで、モデルサイズを63.9%-78.1%削減できる
Zitate
"PAODING aims to minimize the impact on the model's output for the purpose of preserving the fidelity of the original pre-trained model."
"Both models maintain almost the same robustness until 20% of its neurons have been pruned, and preserve 50% of its original robustness even after 50% of its parameters have been pruned."