Wie die Initialisierung von Gewichtsparametern die Trainingsdynamik von neuronalen Netzen beeinflusst: Eine makroskopische Perspektive
Der Initialisierungsmaßstab κ der Ausgabefunktion spielt eine entscheidende Rolle bei der Steuerung der Trainingsdynamik neuronaler Netze. Wenn κ einen bestimmten Schwellenwert überschreitet, können tiefe neuronale Netze unabhängig von den verwendeten Initialisierungsschemata für die Gewichtsparameter schnell auf einen Trainingsverlust von null gebracht werden.
