Die Autoren präsentieren ein hierarchisches Regelungskonzept zur automatischen Anpassung von Multiplikatoren in einer Verlustfunktion mit mehreren Termen. Dabei wird ein probabilistisches grafisches Modell verwendet, um den gemeinsamen Anpassungsprozess von Modellparametern und Multiplikatoren darzustellen. Daraus wird ein optimales Steuerungsproblem abgeleitet, das in eine Reihe von Teilzielen mit Nebenbedingungen zerlegt wird.
Der Regler passt die Multiplikatoren basierend auf dem Abstand der Regularisierungsverluste von einem sich dynamisch anpassenden Sollwert an. Dadurch wird eine Pareto-Abstiegsbedingung für die empirische Verlustfunktion und die Regularisierungsverluste erfüllt, ohne die internen Dynamiken des neuronalen Netzwerks-Optimierungsalgorithmus zu verändern.
Die Autoren wenden ihre Methode auf die domänenunabhängige variationelle Autocodierung auf dem PACS-Datensatz an und zeigen, dass sie robuste Leistung über verschiedene Regler-Hyperparameter und Initialisierungen der Multiplikatoren hinweg erzielt, im Vergleich zu anderen Methoden zur Multiplikator-Steuerung.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Xudong Sun,N... kl. arxiv.org 03-21-2024
https://arxiv.org/pdf/2403.13728.pdfDybere Forespørgsler