核心概念
Kernel normalization improves performance and efficiency in deep learning architectures by addressing the limitations of BatchNorm.
要約
既存の畳み込みニューラルネットワークアーキテクチャは、バッチ正規化(BatchNorm)に依存しており、小さなバッチサイズでは性能が低下し、差分プライバシーには適用できない。この制限を解決するために、カーネル正規化(KernelNorm)とカーネル正規化畳み込み層を提案し、これらをカーネル正規化畳み込みネットワーク(KNConvNets)の主要構成要素として組み込む。KNConvNetsは、画像分類や意味的セグメンテーションにおいてBatchNorm対応モデルよりも高いパフォーマンスを実現し、非プライベートおよび差分プライベート学習においても優れた結果を示す。
統計
BatchNormは小さなバッチサイズでは性能が低下する。
BatchNormは差分プライバシーに適用できない。
KernelNormとKNConv層は空間相関を考慮した正規化を行う。
KNResNetsはBatchNorm対応モデルよりも高い精度を達成する。
Kernel normalization layers provide higher or very competitive performance compared to the batch normalized counterparts.
引用
Kernel normalization layers provide higher or very competitive performance compared to the batch normalized counterparts.
Batch normalization considerably enhances the model convergence rate and accuracy, but it delivers poor performance with small batch sizes.