本研究では、バイナリニューラルネットワーク(BNN)のためのディザリングサインアクティベーション(DeSign)を提案している。BNNは、ネットワークの重みや活性化関数をバイナリ化することで、計算コストと記憶容量を大幅に削減できる。しかし、一般的なバイナリ活性化関数であるサイン関数は、単一のしきい値で二値化するため、特徴出力の詳細な情報が失われてしまう。
DeSignは、空間的に周期的なしきい値カーネルを用いて、サイン関数の二値化を調整する。これにより、空間的な相関関係を活用しつつ、特徴出力の詳細な情報を保持することができる。DeSignの設計手法は以下の2ステップからなる:
分類タスクでの実験結果から、DeSignはベースラインのBNNよりも高い精度を達成し、実数値ネットワークに迫る性能を示した。また、DeSignは追加の計算コストを必要とせずに、バッチ正規化層の影響を軽減することができる。
To Another Language
from source content
arxiv.org
Deeper Inquiries