Core Concepts
予測符号化を用いて教師あり学習を行うと、バックプロパゲーションで計算される勾配と同等の更新が得られる。
Abstract
本論文では、予測符号化とバックプロパゲーションの数学的な関係について検討している。
主な内容は以下の通り:
予測符号化の厳密な実装では、バックプロパゲーションで計算される勾配と一致しない。
予測の固定を仮定した予測符号化では、バックプロパゲーションと同等の更新が得られる。
予測の固定を仮定した予測符号化では、学習率を1に設定すると、固定回数の反復で正確な勾配を計算できる。
予測誤差の大きさが必ずしも入力の驚くべき特徴を表すわけではない。
また、PyTorchのモデルで予測符号化を実行できるライブラリ「Torch2PC」を紹介している。
Stats
入力xに対する出力ˆyの損失関数L(ˆy, y)は、平均二乗誤差∥ˆy - y∥^2/2である。
5層の畳み込みニューラルネットワークをMNISTデータセットで学習した。
6層の畳み込みニューラルネットワークをCIFAR-10データセットで学習した。