Core Concepts
Das Hinzufügen von Rauschen zu den Aktivierungen in den letzten Schichten tiefer neuronaler Netze kann die Vertraulichkeit der Eingaben während der Inferenz erhöhen. Die Hammersley-Chapman-Robbins-Schranken quantifizieren den Effekt des hinzugefügten Rauschens auf die minimale mögliche Varianz jedes Schätzers zur Rekonstruktion der Eingaben.
Abstract
Der Artikel untersucht den Datenschutz, der durch das Hinzufügen von Rauschen zu den Aktivierungen in den letzten Schichten tiefer neuronaler Netze entsteht. Die Hammersley-Chapman-Robbins-Schranken (HCR-Schranken) werden verwendet, um die Vertraulichkeit zu quantifizieren.
Kernpunkte:
- HCR-Schranken bieten einfach interpretierbare, datengetriebene Garantien für die Vertraulichkeit, indem sie die Varianz jedes Schätzers zur Rekonstruktion der Eingaben unterbinden.
- Die Berechnung der Schranken ist effizient und unkompliziert.
- Experimente mit MNIST, CIFAR-10 und ImageNet-1000 zeigen, dass die HCR-Schranken für einfachere Netze auf dem Weg zur Effektivität sind, aber für größere, komplexere Netze wie ResNet-18 und Swin-T unzureichend sind.
- Die Autoren empfehlen, die HCR-Methode mit gröberen, brute-force-Techniken zur Verbesserung der Vertraulichkeit zu kombinieren, wie z.B. die Begrenzung der Größe der Merkmalsvektoren.
Stats
Die Genauigkeit der Bildklassifizierung ohne Rauschen beträgt 97,9% auf MNIST, 70% auf CIFAR-10, 57% auf ImageNet-1000 mit ResNet-18 und 64% auf ImageNet-1000 mit Swin-T.
Mit Rauschen beträgt die Genauigkeit 95,1% auf MNIST, 50% auf CIFAR-10, 54% auf ImageNet-1000 mit ResNet-18 und 54% auf ImageNet-1000 mit Swin-T.
Quotes
Keine relevanten Zitate identifiziert.