Core Concepts
HETAL ist ein effizienter homomorpher Verschlüsselungs-basierter Transfer-Learning-Algorithmus, der die Privatsphäre des Kunden beim Training schützt, indem er die Kundendaten unter Verwendung des CKKS-homomorphen Verschlüsselungsschemas verschlüsselt.
Abstract
HETAL ist das erste praktische Schema, das streng verschlüsseltes Training bietet. Es wendet Validierungs-basiertes frühzeitiges Stoppen an und erreicht die Genauigkeit des nicht-verschlüsselten Trainings.
HETAL verwendet einen effizienten verschlüsselten Matrixmultiplikations-Algorithmus, der 1,8 bis 323 Mal schneller ist als frühere Methoden.
HETAL verwendet einen hochpräzisen Softmax-Approximations-Algorithmus mit erweitertem Wertebereich.
Die Experimente auf fünf bekannten Benchmark-Datensätzen zeigen Gesamttrainingszeiten von 567 bis 3442 Sekunden, also weniger als eine Stunde.
Stats
Die maximalen Eingabewerte der Softmax-Funktion variieren von 0,38 bis über 100 im MNIST-Datensatz.
Die Matrixmultiplikation macht 18% bis 55% der Gesamttrainingszeit aus.
Quotes
"Selbst SOTA-Gesichtserkennungssysteme wie ArcFace und ElasticFace sind anfällig für Rückgewinnungsangriffe."
"In der natürlichen Sprachverarbeitung können BERT-Einbettungen bis zu 50-70% der ursprünglichen Eingabewörter zurückgewonnen werden, da sie semantisch reichhaltig sind."