Effiziente Berechnung der Laplace-Approximation in Bayesischen Neuronalen Netzen ohne Hessische Matrix
Die Laplace-Approximation der Bayesschen Posteriori ist eine effiziente Methode zur Quantifizierung der Unsicherheit in Bayesischen Neuronalen Netzen. Die zentrale Herausforderung ist jedoch die Berechnung und Invertierung der Hessischen Matrix des logarithmischen Posteriors, was bei hochdimensionalen Parametervektoren sehr rechenintensiv sein kann. In dieser Arbeit wird eine alternative Methode, die Hessian-freie Laplace-Approximation (HFL), vorgestellt, die diese Berechnung umgeht, indem sie die Varianz der Vorhersagen direkt aus der Änderung der Netzwerkausgaben bei Regularisierung ableitet. Unter den Annahmen der Laplace-Approximation zeigt HFL, dass diese Varianz der Varianz der Laplace-Approximation entspricht und effizient in einem vortrainierten Netzwerk berechnet werden kann.
Effiziente Variationsinferen mit sequenziellen Stichproben-Durchschnittsapproximationen
VISA, eine Methode für die approximative Inferenz in rechenintensiven Modellen, erweitert die wichtungsgewichtete Vorwärts-KL-Variationsinferen, indem eine Sequenz von Stichproben-Durchschnittsapproximationen verwendet wird. Dies ermöglicht es, Modellauswertungen über mehrere Gradientenschritte wiederzuverwenden, wodurch der Rechenaufwand reduziert wird.
© 2024 by Linnk AI