ニューラルネットワークのFisher情報行列推定量の利点と欠点

ニューラルネットワークのパラメータ空間の幾何学的構造を特徴づけるFisher情報行列の推定には、計算コストが高いため、ランダム推定量や対角成分のみを評価する手法が用いられる。これらの推定量の精度とサンプル複雑性は、それぞれの分散に依存する。本研究では、これらの分散の上界を導出し、回帰ネットワークと分類ネットワークに適用する。両推定量の利点と欠点をanalytical及びnumericalな検討に基づいて明らかにする。分散の大きさはパラメータグループによって異なり、Fisher情報行列の推定時には無視できないことが分かる。