核心概念
深層ニューラルネットワークにおける非線形活性化関数の安全な実装が重要である。
要約
この論文は、深層ニューラルネットワークにおける非線形活性化関数(指数、シグモイド、tanh)の安全な実装に焦点を当てています。従来の方法と異なり、新しいプロトコルを提案し、効率的かつ精度が高いことを示しています。提案されたプロトコルは、指数関数やシグモイド関数などの計算を局所的に行うことで通信量やラウンド数を削減しました。評価では、提案されたプロトコルが最先端の精度を達成しながらランタイムを大幅に削減したことが示されています。
統計
指数関数の実装では、ランタイムが約57%削減されました。
シグモイドおよびtanh関数の実装では、ランタイムがそれぞれ約44%および42%削減されました。
引用
"Deep neural network (DNN) typically involves convolutions, pooling, and activation function."
"Our protocols achieve state-of-the-art precision while reducing run-time by approximately 57%, 44%, and 42% for exponential (with only negative inputs), sigmoid, and Tanh functions, respectively."