Die Laplace-Approximation ist eine effiziente Methode zur Quantifizierung der Unsicherheit in Bayesischen Neuronalen Netzen. Sie basiert auf einer Gaußschen Approximation der Posteriori-Verteilung um den Maximum-a-posteriori-Schätzer (MAP). Ein zentraler Berechnungsschritt ist dabei die Berechnung und Invertierung der Hessischen Matrix des logarithmischen Posteriors, was bei hochdimensionalen Parametervektoren sehr rechenintensiv sein kann.
In dieser Arbeit wird eine alternative Methode, die Hessian-freie Laplace-Approximation (HFL), vorgestellt. Anstatt die Hessische Matrix zu berechnen, schätzt HFL die Varianz der Vorhersagen direkt aus der Änderung der Netzwerkausgaben bei Regularisierung. Unter den Annahmen der Laplace-Approximation zeigt die Arbeit, dass diese Varianz der Varianz der Laplace-Approximation entspricht.
Der Kernpunkt von HFL ist, dass anstatt des üblichen MAP-Schätzers ein zweiter Punkt-Schätzer, der "Vorhersage-regularisierte MAP", benötigt wird. Dieser wird durch Hinzufügen eines Regularisierungsterms proportional zur Netzwerkausgabe zum Trainingsobjektiv erhalten. Die Ableitung dieser Vorhersage-regularisierten Lösung nach dem Regularisierungsparameter liefert dann die gesuchte Varianz.
Darüber hinaus wird eine Vortrainings-Variante von HFL entwickelt, die es ermöglicht, die Varianz-Schätzung für eine Vielzahl von Evaluierungspunkten effizient zu berechnen, ohne für jeden Punkt eine separate Optimierung durchführen zu müssen.
Die experimentellen Ergebnisse zeigen, dass HFL vergleichbare Leistung wie exakte und approximative Hessische Matrizen erzielt, insbesondere bei der Quantifizierung der "In-Between"-Unsicherheit.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by James McIner... at arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.10671.pdfDeeper Inquiries