Gewichtsfluktuationen in (tiefen) linearen neuronalen Netzwerken und eine Herleitung der inversen Varianz-Flachheitsbeziehung

Die Gewichtsfluktuationen in linearen neuronalen Netzwerken sind im Allgemeinen anisotrop, d.h. ihre Amplitude hängt von der Richtung im Parameterraum ab. In einem zweischichtigen linearen Netzwerk führt die Kopplung zwischen den Schichten zu einer anisotropen Verlustfunktion, was zu einer inversen Beziehung zwischen der Varianz der Gewichtsfluktuationen und der Flachheit des Verlusts in dieser Richtung führt.