핵심 개념
Die Asymmetrie der Jacobi-Matrix in dynamischen Systemen führt zu Verzerrungen in der Gradientenberechnung der Equilibrium Propagation. Eine neue homöostatische Zielfunktion, die die funktionale Symmetrie der Jacobi-Matrix direkt optimiert, kann diese Verzerrungen deutlich reduzieren und ermöglicht das Training komplexer Aufgaben wie ImageNet 32×32.
초록
Der Artikel untersucht die Equilibrium Propagation (EP), einen alternativen Lernalgorithmus zu Backpropagation, der ohne linearen Rückwärtsschritt auskommt und daher für physikalische neuronale Netzwerke geeignet ist.
Zunächst wird gezeigt, dass es zwei Hauptquellen für Verzerrungen in der Gradientenberechnung von EP gibt: Die endliche Größe der "Nudges" zur Perturbation des Gleichgewichtszustands und die Asymmetrie der Jacobi-Matrix des Systems.
Um die Verzerrung durch die endliche Nudge-Größe zu vermeiden, wird eine Erweiterung der Holomorphen EP (hEP) vorgestellt, die die exakten Ableitungen durch Cauchy-Integrale über Oszillationen schätzt.
Zur Reduzierung der Verzerrung durch Jacobi-Asymmetrie wird eine neue homöostatische Zielfunktion eingeführt, die direkt die funktionale Symmetrie der Jacobi-Matrix am Fixpunkt optimiert. Diese Homöostase führt zu einer deutlichen Verbesserung der Lösungsfähigkeit komplexer Aufgaben wie ImageNet 32×32, auch wenn die Gewichte nicht perfekt symmetrisch sind.
Insgesamt legt die Arbeit den theoretischen Grundstein, um die Auswirkungen von Unvollkommenheiten physikalischer Substrate auf lernende Algorithmen wie EP zu verstehen und zu mildern.
통계
Die Jacobi-Matrix J_F eines dynamischen Systems F erfüllt J_F = J_F^T für energiebasierte Modelle, aber nicht für allgemeine dynamische Systeme. Die Asymmetrie A := (J_F - J_F^T)/2 trägt dann zu einer Verzerrung der Gradientenberechnung bei.
인용구
"Bias due to finite nudge can be avoided by estimating exact derivatives via a Cauchy integral."
"The homeostatic objective dramatically improves the network's ability to solve complex tasks such as ImageNet 32×32."