本論文では、深層ニューラルネットワークの強い非線形性により、同一層のニューロンが類似した振る舞いをする「凝縮」現象に着目し、この現象を利用してニューラルネットワークの規模を大幅に縮小する手法を提案している。
まず、全結合ニューラルネットワークと畳み込みニューラルネットワークにおける凝縮現象の理論的な説明を行う。この凝縮現象により、ニューラルネットワークの構造的な複雑性は実際ほど高くないことが示唆される。そこで本手法では、凝縮したニューロンを統合することで、元のネットワークと同等の性能を持つサブネットワークを見つけ出す。
この凝縮ベースの圧縮手法を、燃焼シミュレーションの高速化と CIFAR10 画像分類タスクに適用した。燃焼シミュレーションでは、元のモデルを 41.7% まで圧縮しつつ予測精度を維持できた。CIFAR10 分類タスクでは、モデルのパラメータ数を元の 11.5% まで削減しつつ、精度は 94% を維持した。
このように、凝縮現象を利用した圧縮手法は、様々な深層ニューラルネットワークモデルに対して汎用的に適用可能であり、計算コストの削減と高速な推論を実現できる。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Tianyi Chen,... at arxiv.org 05-03-2024
https://arxiv.org/pdf/2405.01041.pdfDeeper Inquiries