本論文では、深層ニューラルネットワークの量子化において、層ごとに最適な量子化戦略を自動的に見つける手法「DQSS」を提案する。
まず、量子化戦略の選択を差分可能な神経アーキテクチャ探索問題として定式化し、勾配ベースの最適化手法を用いて効率的に探索する。さらに、計算量を削減するための効率的な畳み込み演算を提案する。
DQSS は、事後量子化(PTQ)と量子化認識訓練(QAT)の両方に適用可能である。QAT への適用では、ハイパーパラメータと重みパラメータを同時に更新する手法と、潜在的な過学習問題を回避する手法を提案する。
画像分類とスーパーリゾリューションの実験結果から、DQSS が従来手法を上回る性能を示すことを確認した。特に、軽量ネットワークの量子化において顕著な改善が見られた。これは、DQSS が層ごとの最適な量子化戦略を見つけられるためだと考えられる。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問