核心概念
制約条件を満たしつつ、ニューラルネットワークのパラメータのビット幅を最適化する手法を提案する。
要約
本研究では、ニューラルネットワークのパラメータ(重みとバイアス)およびアクティベーションのビット幅を最適化する手法「制約ガイド型モデル量子化(CGMQ)」を提案している。
CGMQの特徴は以下の通り:
予め定義した計算コスト制約(ビット演算数の上限)を満たすように、ニューラルネットワークのパラメータのビット幅を自動的に決定する。
学習中にトレーニングモードと推論モードの間で量子化の違いが生じない。
ゲート変数を用いることで、各パラメータや活性化関数の個別のビット幅を学習できる。
勾配降下法を用いて、重み、量子化範囲、ビット幅を同時に学習する。
計算コスト制約を満たすモデルを1回の学習で得られる。
実験ではMNISTデータセットでの性能を確認し、従来手法と比較して同等の精度を維持しつつ、計算コスト制約を満たすことができることを示した。
今後の課題として、他の量子化手法の導入、ハードウェア特性を考慮した制約の設定、大規模なデータセットや複雑なモデルでの検証などが挙げられる。
統計
重みの絶対値が大きいほど、モデルの予測に大きな影響を与える。
アクティベーションの絶対値が大きいほど、量子化誤差が大きくなる。
引用
重みの絶対値が大きいほど、モデルの予測に大きな影響を与える。
アクティベーションの絶対値が大きいほど、量子化誤差が大きくなる。