Die Autoren präsentieren ein hierarchisches Regelungskonzept zur automatischen Anpassung von Multiplikatoren in einer Verlustfunktion mit mehreren Termen. Dabei wird ein probabilistisches grafisches Modell verwendet, um den gemeinsamen Anpassungsprozess von Modellparametern und Multiplikatoren darzustellen. Daraus wird ein optimales Steuerungsproblem abgeleitet, das in eine Reihe von Teilzielen mit Nebenbedingungen zerlegt wird.
Der Regler passt die Multiplikatoren basierend auf dem Abstand der Regularisierungsverluste von einem sich dynamisch anpassenden Sollwert an. Dadurch wird eine Pareto-Abstiegsbedingung für die empirische Verlustfunktion und die Regularisierungsverluste erfüllt, ohne die internen Dynamiken des neuronalen Netzwerks-Optimierungsalgorithmus zu verändern.
Die Autoren wenden ihre Methode auf die domänenunabhängige variationelle Autocodierung auf dem PACS-Datensatz an und zeigen, dass sie robuste Leistung über verschiedene Regler-Hyperparameter und Initialisierungen der Multiplikatoren hinweg erzielt, im Vergleich zu anderen Methoden zur Multiplikator-Steuerung.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Xudong Sun,N... às arxiv.org 03-21-2024
https://arxiv.org/pdf/2403.13728.pdfPerguntas Mais Profundas