核心概念
フレーム理論に基づいた量子化アルゴリズムを提案し、ニューラルネットワークの量子化に適用することで、理論的な誤差評価を行う。
要約
本論文では、ニューラルネットワークの重みパラメータを量子化するための新しいアルゴリズムを提案している。具体的には以下の通りである:
有限ユニットノルムタイトフレーム(FUNTF)を用いた第一次シグマデルタ量子化アルゴリズムを用いて、ニューラルネットワークの重みパラメータを量子化する。これにより、量子化後のニューラルネットワークと元のニューラルネットワークの誤差を理論的に評価できる。
全結合型ニューラルネットワークおよび残差ブロックから構成されるニューラルネットワークに対して、量子化後のネットワークと元のネットワークの誤差を上界評価する。この上界は量子化ステップサイズと使用するフレームの要素数によって制御できることを示す。
MNISTデータセットを用いた数値実験を行い、提案手法の有効性を確認する。1ビット量子化でも小さな精度低下で量子化できることを示している。
統計
最大入力ノルムが(K-1/2)δ以下である。
重みパラメータWiのノルムは最大でもσi以下である。