Core Concepts
深層ニューラルネットワークの初期化におけるPSEUDO-IID分布からGaussian Processesへの拡張を示す。
Abstract
この論文は、深層ニューラルネットワークがPSEUDO-IID分布で初期化された場合、Gaussian Processesに収束することを示しています。IIDや直交重みなど従来のケースだけでなく、低ランクや構造的スパース設定も含まれています。これにより、Bayesian Neural Networksの事後分布を計算することが可能になります。さらに、Edge-of-Chaos戦略や効率的な実装方法についても議論されています。
ABSTRACT
無限幅ニューラルネットワークは多くの現象を理解する数学的モデルであり、ランダムな深層ニューラルネットワークがGaussian Processesに収束することが示されている。
本論文では、Matthewsら(2018)の証明を拡張し、IIDや直交重みだけでなく低ランクや構造的スパース設定も含めたPSEUDO-IID分布で初期化された全結合および畳み込みニューラルネットワークが等価であることを示す。
INTRODUCTION
ニューラルネットワークは無作為初期化時にGaussian Processesへ収束し、Bayesian Neural Networksや勾配消失問題解析に役立つ。
本論文ではMatthewsら(2018)から始まり、より一般的なPSEUDO-IID分布へ拡張したGaussian Process証明を提供。
RELATED WORK
Neal (1996)以降、無限幅レジメンでのGaussian Process挙動が研究されてきた。
本論文は既存研究を拡張し、畳み込みニューラルネットワークでも同様の結果が得られることを示す。
ORGANIZATION OF THE PAPER
全結合ニューラルネットワーク向けPSEUDO-IIDレジメンとそのGaussian Process limitに焦点。
理論結果を数値シミュレーションで裏付け。
Quotes
"The infinitely wide neural network has proven a useful and manageable mathematical model."
"Our results enable the posterior distribution of Bayesian Neural Networks to be tractable across these various initialization schemes."