Core Concepts
Dying neurons can be leveraged for efficient model compression and optimization through structured pruning algorithms like Demon Pruning (DemP).
Stats
本研究では、CIFAR10およびImageNetデータセットでの実験により、DemPが既存の手法を上回ることを示す。
デッドニューロンの影響を制御するためにノイズ射入と正則化を組み合わせたDemPメソッドが提案されている。