Der Artikel untersucht verschiedene Formulierungen der Knotenperturbation (NP) und vergleicht sie mit dem Standard-Backpropagation-Verfahren (BP).
Zunächst wird die traditionelle NP-Methode beschrieben, bei der Rauschen in die Vorwärtsaktivierungen eingefügt und die daraus resultierenden Verluständerungen gemessen werden, um die Gewichte zu aktualisieren. Anschließend wird eine iterative NP-Methode (INP) hergeleitet, die die Knotenperturbation mit gerichteten Ableitungen in Verbindung bringt und so eine theoretisch fundierte Aktualisierungsregel liefert.
Um die Effizienz weiter zu steigern, wird eine aktivitätsbasierte NP-Methode (ANP) vorgestellt, die die Aktivitätsunterschiede zwischen sauberen und verrauschten Durchläufen misst, anstatt das injizierte Rauschen selbst zu verwenden.
Darüber hinaus wird gezeigt, dass die Dekorrelation der Eingaben in jeder Schicht die Leistung aller NP-Varianten deutlich verbessert, indem die Verzerrung der Aktualisierungen reduziert wird.
Die Ergebnisse zeigen, dass die entwickelten NP-Methoden, insbesondere in Kombination mit Dekorrelation, die Leistung von BP in bestimmten Kontexten erreichen können. Dies ist besonders interessant für Anwendungen in rauschbehafteten Systemen wie biologischen neuronalen Netzen oder neuromorphen Hardware-Architekturen, da NP-Verfahren keine Rückwärtspropagation benötigen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Sander Dalm,... at arxiv.org 04-05-2024
https://arxiv.org/pdf/2310.00965.pdfDeeper Inquiries