Die Autoren präsentieren ein hierarchisches Regelungskonzept zur automatischen Anpassung von Multiplikatoren in einer Verlustfunktion mit mehreren Termen. Dabei wird ein probabilistisches grafisches Modell verwendet, um den gemeinsamen Anpassungsprozess von Modellparametern und Multiplikatoren darzustellen. Daraus wird ein optimales Steuerungsproblem abgeleitet, das in eine Reihe von Teilzielen mit Nebenbedingungen zerlegt wird.
Der Regler passt die Multiplikatoren basierend auf dem Abstand der Regularisierungsverluste von einem sich dynamisch anpassenden Sollwert an. Dadurch wird eine Pareto-Abstiegsbedingung für die empirische Verlustfunktion und die Regularisierungsverluste erfüllt, ohne die internen Dynamiken des neuronalen Netzwerks-Optimierungsalgorithmus zu verändern.
Die Autoren wenden ihre Methode auf die domänenunabhängige variationelle Autocodierung auf dem PACS-Datensatz an und zeigen, dass sie robuste Leistung über verschiedene Regler-Hyperparameter und Initialisierungen der Multiplikatoren hinweg erzielt, im Vergleich zu anderen Methoden zur Multiplikator-Steuerung.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Xudong Sun,N... a las arxiv.org 03-21-2024
https://arxiv.org/pdf/2403.13728.pdfConsultas más profundas