バイナリニューラルネットワーク(BNN)は、1ビット量子化された重みと活性化を使用してストレージ要件と計算負荷を削減します。しかし、高度なバイナリアーキテクチャには依然として数百万もの非効率でハードウェアに適さない完全精度の乗算演算が含まれています。A&B BNNは、従来のBNN内の一部の乗算演算を直接削除し、残りを同じ数のビット演算で置き換えるよう提案されています。これにより、マスク層と正規化フリーネットワークアーキテクチャに基づく量子化RPReLU構造が導入されます。マスク層は、BNNの固有の特性を利用して推論中に取り除くことができます。量子化RPReLU構造は、その傾斜を2の整数乗に制約することでより効率的なビット演算を可能にします。実験結果では、CIFAR-10、CIFAR-100、およびImageNetデータセットで92.30%、69.35%、66.89%を達成しました。
この研究では、「A&B BNN」が提案されました。これは従来のバイナリニューラルネットワーク内で推論時にすべての乗算操作を排除するために設計された新しいアーキテクチャです。マスク層や量子化RPReLU構造などが導入されており、これらは計算上効率的な方法で乗算操作を排除します。実験結果では競争力ある精度が示されました。
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Ruichen Ma,G... lúc arxiv.org 03-07-2024
https://arxiv.org/pdf/2403.03739.pdfYêu cầu sâu hơn