Der Artikel präsentiert zwei differentiell private verteilte stochastische Optimierungsalgorithmen mit zeitlich variierenden Stichprobengrößen, die sowohl die Ausgabe- als auch die Gradientenperturbation verwenden.
Für beide Fälle wird gezeigt, dass die Konvergenz des Algorithmus und die differenzielle Privatsphäre mit einem endlichen kumulativen Datenschutzbudget ε für eine unendliche Anzahl von Iterationen gleichzeitig erreicht werden können. Dies ist im Vergleich zu den bestehenden Arbeiten ein wesentlicher Unterschied.
Durch die Methode der zeitlich variierenden Stichprobengrößen wird das Datenschutzniveau erhöht und die differenzielle Privatsphäre mit einem endlichen kumulativen Datenschutzbudget ε für eine unendliche Anzahl von Iterationen nachgewiesen.
Durch geeignete Wahl einer Lyapunov-Funktion erreicht der Algorithmus fast sichere und mittlere quadratische Konvergenz, selbst wenn die hinzugefügten Datenschutzrauschen eine zunehmende Varianz aufweisen. Darüber hinaus wird die mittlere quadratische Konvergenzrate des Algorithmus streng hergeleitet und gezeigt, wie sich das hinzugefügte Datenschutzrauschen auf die Konvergenzrate auswirkt.
Schließlich werden numerische Beispiele, einschließlich des verteilten Trainings auf einem Benchmark-Maschinenlern-Datensatz, präsentiert, um die Effizienz und Vorteile der Algorithmen zu demonstrieren.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Jimin Wang,J... kl. arxiv.org 03-19-2024
https://arxiv.org/pdf/2310.11892.pdfDybere Forespørgsler