核心概念
NEON, eine Architektur zur Erzeugung von Vorhersagen mit Unsicherheit unter Verwendung eines einzigen Operator-Netzwerk-Rückgrats, bietet eine um Größenordnungen geringere Anzahl an trainbaren Parametern als tiefe Ensembles mit vergleichbarer Leistung.
要約
In dieser Arbeit wird NEON (Neural Epistemic Operator Networks), eine Methode zur Quantifizierung epistemischer Unsicherheit in Operator-Lernmodellen, vorgestellt. Diese Architektur bietet Flexibilität für die Implementierung auf zuvor trainierten Modellen und ermöglicht die Quantifizierung epistemischer Unsicherheit unter Verwendung eines einzigen Modells, ohne die Notwendigkeit großer Ensembles.
Es werden verschiedene Möglichkeiten für Akquisitionsfunktionen für die composite BO unter Verwendung des Epistemic Neural Network (ENN)-Rahmens untersucht. Außerdem wird die Leaky Expected Improvement (L-EI)-Akquisitionsfunktion vorgeschlagen, eine Variante der Expected Improvement (EI), die eine einfachere Optimierung ermöglicht, während sie ähnliche lokale Extrema beibehält.
Durch die Untersuchung verschiedener Benchmarks wird gezeigt, dass NEON eine Spitzenleistung bei der hochdimensionalen composite BO erzielt, während es oft 1-2 Größenordnungen weniger Trainingsparameter umfasst.
統計
NEON, eine Architektur zur Erzeugung von Vorhersagen mit Unsicherheit, verwendet um Größenordnungen weniger trainbare Parameter als tiefe Ensembles mit vergleichbarer Leistung.
Die Leaky Expected Improvement (L-EI)-Akquisitionsfunktion ermöglicht eine einfachere Optimierung, während sie ähnliche lokale Extrema wie die ursprüngliche Expected Improvement (EI)-Funktion beibehält.
引用
"NEON (Neural Epistemic Operator Networks), eine Methode zur Quantifizierung epistemischer Unsicherheit in Operator-Lernmodellen, bietet Flexibilität für die Implementierung auf zuvor trainierten Modellen und ermöglicht die Quantifizierung epistemischer Unsicherheit unter Verwendung eines einzigen Modells, ohne die Notwendigkeit großer Ensembles."
"Durch die Untersuchung verschiedener Benchmarks wird gezeigt, dass NEON eine Spitzenleistung bei der hochdimensionalen composite BO erzielt, während es oft 1-2 Größenordnungen weniger Trainingsparameter umfasst."