Core Concepts
Durch die Ausnutzung von Selbstähnlichkeit und Strukturen in Signalen und Bildern können neuronale Netze effizient auch mit nur einem Eingabebeispiel trainiert werden, ohne auf große Trainingsdatensätze angewiesen zu sein.
Abstract
Der Artikel gibt einen Überblick über Methoden des internen Lernens, bei denen neuronale Netze ohne externe Trainingsdaten, sondern nur anhand eines einzigen Eingabebeispiels trainiert werden.
Die Kernidee ist, dass viele Signale und Bilder eine inhärente Struktur und Selbstähnlichkeit aufweisen, die es ermöglicht, die Netzwerkparameter allein aus dem Eingabebeispiel zu lernen. Dafür werden verschiedene Strategien wie Selbstähnlichkeit auf mehreren Skalen, statistische Verlustfunktionen, Konsistenzregularisierung und die Netzwerkstruktur selbst als Prior genutzt.
Die Methoden lassen sich in zwei Hauptgruppen einteilen: Solche, die das Netz komplett von Grund auf nur mit dem Eingabebeispiel trainieren, und solche, die ein bereits extern trainiertes Netz am Testbeispiel feinabstimmen. Letztere können die Vorteile des internen und externen Lernens kombinieren.
Die vorgestellten Techniken adressieren verschiedene Herausforderungen des internen Lernens wie lange Inferenzzeiten und Empfindlichkeit gegenüber dem Abbruchzeitpunkt der Optimierung. Sie zeigen, wie Konzepte aus der Signalverarbeitung wie statistische Verlustfunktionen, Regularisierung und Mehrskalenähnlichkeit das interne Lernen verbessern können.
Stats
Die Optimierung des Netzwerks h(z; θ) zur Minimierung von ∥f(h(z, θ)) - x0∥2
2 konvergiert schneller für natürliche Bilder als für verrauschte oder zufällig durchmischte Bilder.
Für Bildrauschunterdrückung ist der mittlere quadratische Fehler ∥h(x0 + γ; θ) - x0∥2
2 + 2σ2div(h(x0 + γ; θ)) ein geeigneteres Optimierungsziel als die einfache Quadratabweichung.
Für lineare Abbildungen f wie Unschärfe oder Downsampling kann der verallgemeinerte SURE-Verlust ∥Pfh(u; θ)∥2
2 - 2hT(u; θ)f†(x0) + 2divu(Pfh(u; θ)) verwendet werden, um die Rekonstruktion zu verbessern.
Quotes
"Durch die Ausnutzung von Selbstähnlichkeit und Strukturen in Signalen und Bildern können neuronale Netze effizient auch mit nur einem Eingabebeispiel trainiert werden, ohne auf große Trainingsdatensätze angewiesen zu sein."
"Konzepte aus der Signalverarbeitung wie statistische Verlustfunktionen, Regularisierung und Mehrskalenähnlichkeit können das interne Lernen verbessern."