Schätzung der diagonalen Fisher-Informationsmatrix: Abwägungen zwischen Genauigkeit und Rechenaufwand

Die Fisher-Informationsmatrix charakterisiert die lokale Geometrie des Parameterraums neuronaler Netze. Aufgrund des hohen Rechenaufwands verwenden Praktiker oft zufällige Schätzer und evaluieren nur die Diagonaleinträge. Diese Arbeit untersucht zwei solcher Schätzer, deren Genauigkeit und Stichprobenkomplexität von ihren assoziierten Varianzen abhängen. Es werden Schranken für die Varianzen abgeleitet und in Regressions- und Klassifikationsnetzwerken instanziiert. Es werden Abwägungen zwischen beiden Schätzern basierend auf analytischen und numerischen Studien aufgezeigt. Die Varianzgrößen hängen von der Nichtlinearität in Bezug auf verschiedene Parametergruppen ab und sollten bei der Schätzung der Fisher-Informationsmatrix nicht vernachlässigt werden.