Główne pojęcia
Knotenperturbation ist ein Lernverfahren, das Rauschen in die Netzwerkaktivierungen einfügt und die daraus resultierenden Änderungen der Verlustfunktion misst, um die Gewichte zu aktualisieren. Durch eine engere Ausrichtung an gerichteten Ableitungen und die Dekorrelation der Eingaben in jeder Schicht kann die Leistung von Knotenperturbation deutlich verbessert werden und sich der Leistung von Backpropagation annähern.
Streszczenie
Der Artikel untersucht verschiedene Formulierungen der Knotenperturbation (NP) und vergleicht sie mit dem Standard-Backpropagation-Verfahren (BP).
Zunächst wird die traditionelle NP-Methode beschrieben, bei der Rauschen in die Vorwärtsaktivierungen eingefügt und die daraus resultierenden Verluständerungen gemessen werden, um die Gewichte zu aktualisieren. Anschließend wird eine iterative NP-Methode (INP) hergeleitet, die die Knotenperturbation mit gerichteten Ableitungen in Verbindung bringt und so eine theoretisch fundierte Aktualisierungsregel liefert.
Um die Effizienz weiter zu steigern, wird eine aktivitätsbasierte NP-Methode (ANP) vorgestellt, die die Aktivitätsunterschiede zwischen sauberen und verrauschten Durchläufen misst, anstatt das injizierte Rauschen selbst zu verwenden.
Darüber hinaus wird gezeigt, dass die Dekorrelation der Eingaben in jeder Schicht die Leistung aller NP-Varianten deutlich verbessert, indem die Verzerrung der Aktualisierungen reduziert wird.
Die Ergebnisse zeigen, dass die entwickelten NP-Methoden, insbesondere in Kombination mit Dekorrelation, die Leistung von BP in bestimmten Kontexten erreichen können. Dies ist besonders interessant für Anwendungen in rauschbehafteten Systemen wie biologischen neuronalen Netzen oder neuromorphen Hardware-Architekturen, da NP-Verfahren keine Rückwärtspropagation benötigen.
Statystyki
Die Verwendung von Dekorrelation führt zu einer deutlichen Verbesserung der Lerngeschwindigkeit und -leistung aller NP-Varianten.
Die iterative NP-Methode (INP) ist am besten an die Backpropagation-Aktualisierungen ausgerichtet, benötigt aber mehr Vorwärtsdurchläufe.
Die aktivitätsbasierte NP-Methode (ANP) ist effizienter als INP, da sie keine explizite Messung des Rauschens erfordert.
In einem Experiment mit zwei verrauschten Durchläufen anstelle eines sauberen und eines verrauschten zeigt die dekorrelierte aktivitätsbasierte NP-Methode (DANP) eine robuste Leistung, während die dekorrelierte NP-Methode (DNP) instabil wird.
Cytaty
"Knotenperturbation (NP) schlägt vor, durch Injektion von Rauschen in Netzwerkaktivierungen und anschließende Messung der induzierten Verluständerung zu lernen."
"Durch eine engere Ausrichtung an gerichteten Ableitungen zusammen mit der Dekorrelation der Eingaben in jeder Schicht wird die Leistung des NP-Lernens deutlich verbessert, mit signifikanten Verbesserungen bei der Parameterkonvergenz und einer viel höheren Leistung auf den Testdaten, die sich der von BP annähert."