Verbesserung der Gleichgewichtsausbreitung ohne Gewichtssymmetrie durch Jacobi-Homöostase
Die Asymmetrie der Jacobi-Matrix in dynamischen Systemen führt zu Verzerrungen in der Gradientenberechnung der Equilibrium Propagation. Eine neue homöostatische Zielfunktion, die die funktionale Symmetrie der Jacobi-Matrix direkt optimiert, kann diese Verzerrungen deutlich reduzieren und ermöglicht das Training komplexer Aufgaben wie ImageNet 32×32.
Beschleunigung des Lernens in Convolutional Neural Networks durch Transfer Entropy
Die Verwendung von Transfer Entropy (TE) als Rückkopplungsparameter beschleunigt den Trainingsprozess von Convolutional Neural Networks, da weniger Epochen benötigt werden. Allerdings fügt es einen Rechenaufwand pro Epoche hinzu.
Effizientes Training neuronaler Netze mit strukturiertem Rauschen verbessert Klassifizierung und Generalisierung
Durch Hinzufügen einer spezifischen Struktur zum Rauschen in den Trainingsdaten kann die Leistung des Training-with-Noise-Algorithmus erheblich verbessert werden, sodass das Netzwerk eine perfekte Wiedergabe der Erinnerungen und breite Anziehungsbereiche erreicht, selbst bei maximal injiziertem Rauschen.
Effiziente Verarbeitung und Analyse von Inhalten zur Gewinnung von Erkenntnissen: Ein Ansatz mit Generalized Latent Equilibrium
Generalized Latent Equilibrium (GLE) ist ein Berechnungsrahmen für eine lokal-zeitliche Fehlerverteilung in physikalischen, dynamischen Neuronennetzen, der eine Annäherung an die Adjoint-Methode und Backpropagation durch Zeit darstellt.
