本研究では、ニューラルネットワークの過剰パラメータ化に伴う一般化性能の変化と、関数の複雑性の指標であるブール平均次元(BMD)の関係を分析している。
まず、ランダムフィーチャーモデルにおいて、BMDの解析的な表式を導出した。BMDは過剰パラメータ化に伴って明確なピークを示し、この ピークは一般化誤差のピークと一致することが分かった。
次に、様々なモデルアーキテクチャ(RFM、MLP、ResNet)とデータセット(MNIST、CIFAR10)を用いた数値実験を行った。その結果、BMDのピークは一般化誤差のピークと対応しており、この現象は頑健であることが示された。
さらに、正則化の導入やラベルノイズの追加によって、BMDのピークを抑制できることも確認した。また、敵対的な初期化を行うと、BMDが高くなり一般化性能が悪化することも明らかにした。
以上より、BMDは過剰パラメータ化に伴う関数の複雑性の変化を捉えており、一般化性能の理解に有用な指標であることが示された。
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések