Centrala begrepp
Bayes'sche neuronale Netzwerke sind robust gegenüber adversen Angriffen aufgrund der Vanishing-Gradient-Eigenschaft.
Sammanfattning
Das Paper analysiert die Robustheit von Bayes'schen neuronalen Netzwerken gegenüber adversen Angriffen. Es zeigt, dass in einem bestimmten Grenzwert die Erwartung des orthogonalen Gradienten des Verlusts für Bayes'sche neuronale Netzwerke verschwindet, was sie gegenüber Gradienten-basierten Angriffen schützt. Experimentelle Ergebnisse auf verschiedenen Datensätzen unterstützen diese Theorie.
- Adversarial Attacks sind ein Hindernis für die Verwendung von Deep Learning in sicherheitskritischen Anwendungen.
- BNNs sind robust gegenüber Gradienten-basierten und -freien adversen Angriffen.
- Die Konvergenz von BNNs zu GPs führt zu einer Vanishing-Gradient-Eigenschaft.
Statistik
In der Grenze sind die BNN-Posteriors robust gegenüber Gradienten-basierten Angriffen.
Die Erwartung des Gradienten des Verlusts verschwindet in Richtung orthogonal zur Daten-Mannigfaltigkeit.
Die Größe der Gradienten nimmt ab, wenn mehr Proben aus dem BNN-Posterior genommen werden.
Citat
"Wir zeigen, dass in der Grenze die Erwartung des orthogonalen Gradienten des Verlusts für BNNs verschwindet."
"Die Robustheit von BNNs gegenüber adversen Angriffen wird empirisch unterstützt."