核心概念
バイナリニューラルネットワークの新しいアーキテクチャ、A&B BNNは、推論時にすべての乗算演算を排除することを目指しています。
要約
バイナリニューラルネットワーク(BNN)は、1ビット量子化された重みと活性化を使用してストレージ要件と計算負荷を削減します。しかし、高度なバイナリアーキテクチャには依然として数百万もの非効率でハードウェアに適さない完全精度の乗算演算が含まれています。A&B BNNは、従来のBNN内の一部の乗算演算を直接削除し、残りを同じ数のビット演算で置き換えるよう提案されています。これにより、マスク層と正規化フリーネットワークアーキテクチャに基づく量子化RPReLU構造が導入されます。マスク層は、BNNの固有の特性を利用して推論中に取り除くことができます。量子化RPReLU構造は、その傾斜を2の整数乗に制約することでより効率的なビット演算を可能にします。実験結果では、CIFAR-10、CIFAR-100、およびImageNetデータセットで92.30%、69.35%、66.89%を達成しました。
この研究では、「A&B BNN」が提案されました。これは従来のバイナリニューラルネットワーク内で推論時にすべての乗算操作を排除するために設計された新しいアーキテクチャです。マスク層や量子化RPReLU構造などが導入されており、これらは計算上効率的な方法で乗算操作を排除します。実験結果では競争力ある精度が示されました。
統計
Experimental results achieved 92.30%, 69.35%, and 66.89% on the CIFAR-10, CIFAR-100, and ImageNet datasets, respectively.
Ablation studies have verified the efficacy of the quantized RPReLU structure, leading to a 1.14% enhancement on the ImageNet compared to using a fixed slope RLeakyReLU.
引用
"Binary neural networks utilize 1-bit quantized weights and activations to reduce both the model’s storage demands and computational burden."
"A&B BNN offers an innovative approach for hardware-friendly network architecture."
"The proposed add&bit-operation-only BNN is designed to eliminate all multiplication operations during inference."