Differenzielle Privatheit von DP-SGD: Eine Analyse der Auswirkungen von Batch-Sampling-Methoden

Concetti Chiave

Es gibt einen erheblichen Unterschied zwischen den Datenschutzgarantien der Adaptive Batch Linear Queries (ABLQ)-Mechanismen unter verschiedenen Arten von Batch-Sampling: (i) Shuffling und (ii) Poisson-Unterabtastung. Die übliche Analyse von Differenzial-Privat-Stochastischem-Gradientenabstieg (DP-SGD) interpretiert es als Nachverarbeitung von ABLQ. Während auf Shuffling basierendes DP-SGD in praktischen Implementierungen häufiger verwendet wird, ist es weder analytisch noch numerisch für eine einfache Datenschutzanalyse geeignet. Andererseits ist auf Poisson-Unterabtastung basierendes DP-SGD zwar schwierig skalierbar zu implementieren, hat aber eine gut verstandene Datenschutzanalyse mit mehreren quelloffenen numerisch engen Datenschutzrechnern. Dies hat zu einer gängigen Praxis geführt, in der Praxis Shuffling-basiertes DP-SGD zu verwenden, aber die Datenschutzanalyse für die entsprechende Poisson-Unterabtastungsversion zu verwenden. Unser Ergebnis zeigt, dass es einen erheblichen Unterschied zwischen der Datenschutzanalyse bei Verwendung der beiden Arten von Batch-Sampling geben kann, und rät daher zur Vorsicht bei der Berichterstattung von Datenschutzparametern für DP-SGD.

Sintesi

Die Studie untersucht die Datenschutzgarantien des ABLQ-Mechanismus bei Verwendung verschiedener Batch-Sampling-Methoden: Deterministische Batch-Auswahl (D), Poisson-Unterabtastung (P) und Shuffling (S).

Kernpunkte:

• ABLQS bietet immer stärkere Datenschutzgarantien als ABLQD.
• ABLQD und ABLQP sind in Bezug auf die Datenschutzgarantien nicht vergleichbar:
  • Für kleine ε gilt δP(ε) < δD(ε)
  • Für große ε gilt δP(ε) >> δD(ε)
• ABLQS bietet in manchen Fällen deutlich schlechtere Datenschutzgarantien als ABLQP, obwohl Shuffling im Allgemeinen als Verstärkungsmechanismus gilt.

Die Ergebnisse zeigen, dass die Wahl des Batch-Samplers einen erheblichen Einfluss auf die Datenschutzgarantien von DP-SGD hat. Bei der Berichterstattung von Datenschutzparametern ist daher Vorsicht geboten, da die übliche Praxis, die Analyse für Poisson-Unterabtastung zu verwenden, die tatsächlichen Garantien deutlich unterschätzen kann.

Statistiche

Für σ = 0,4 und T = 100.000 Schritte gilt: εP(δ) ≤ 3, aber εS(δ) ≥ 14,45.
Für σ = 0,3 und T = 10 gilt: δD(ε) > δP(ε) für kleine ε, aber δD(ε) < δP(ε) für große ε.

Citazioni

"In der Praxis wird für Effizienz die Konstruktion von Batches und Lots durch zufälliges Permutieren der Beispiele und anschließendes Partitionieren in Gruppen der richtigen Größe durchgeführt. Zur Erleichterung der Analyse nehmen wir jedoch an, dass jedes Los durch unabhängiges Auswählen jedes Beispiels mit Wahrscheinlichkeit q = L/N gebildet wird, wobei N die Größe des Eingabedatensatzes ist."
"Es ist üblich, wenn auch ungenau, ohne Poisson-Unterabtastung zu trainieren, aber die stärkeren DP-Grenzen zu melden, als wäre die Verstärkung verwendet worden."

Approfondimenti chiave tratti da

How Private is DP-SGD?

by Lynn Chua,Ba... alle arxiv.org 03-27-2024

https://arxiv.org/pdf/2403.17673.pdf

Domande più approfondite

Wie lässt sich die Datenschutzanalyse für ABLQS verbessern, um eine genauere Abschätzung der Datenschutzgarantien zu erhalten?

Um die Datenschutzanalyse für ABLQS zu verbessern und genauere Datenschutzgarantien zu erhalten, könnte man verschiedene Ansätze verfolgen. Ein möglicher Weg wäre die Entwicklung eines numerischen Accountings, das die Hockey-Stick-Divergenz zwischen ABLQS(x) und ABLQS(x') genau berechnet. Dies würde eine präzisere Abschätzung der Datenschutzgarantien ermöglichen. Zudem könnte man versuchen, eine Methode zu entwickeln, die die Amplifikationseffekte von ABLQS genauer berücksichtigt und möglicherweise eine bessere Analyse der Datenschutzparameter ermöglicht. Eine weitere Möglichkeit wäre die Untersuchung spezifischer Instanzen des adaptiven Abfrageverfahrens A und benachbarter Datensätze, um die Hockey-Stick-Divergenz zwischen diesen Paaren zu verstehen und möglicherweise eine bessere Analyse der Datenschutzgarantien für ABLQS zu ermöglichen.

Wie wirkt sich die korrekte Datenschutzanalyse für ABLQS auf die Leistungsfähigkeit von DP-SGD im Vergleich zu alternativen Ansätzen wie DP-FTRL aus?

Die korrekte Datenschutzanalyse für ABLQS könnte sich positiv auf die Leistungsfähigkeit von DP-SGD auswirken, insbesondere im Vergleich zu alternativen Ansätzen wie DP-FTRL. Durch eine präzisere Abschätzung der Datenschutzgarantien für ABLQS könnte die Implementierung von DP-SGD effizienter gestaltet werden, da die tatsächlichen Datenschutzparameter genauer bekannt sind. Dies könnte zu einer besseren Balance zwischen Datenschutz und Nützlichkeit führen, da die Datenschutzgarantien genauer auf die Anforderungen der Anwendung abgestimmt werden können. Im Vergleich zu DP-FTRL könnte die Verwendung der korrekten Datenschutzanalyse für ABLQS möglicherweise zu besseren Datenschutzgarantien führen, da ABLQS spezifische Amplifikationseffekte aufweist, die bei der Analyse berücksichtigt werden müssen.

Welche Auswirkungen haben andere in der Praxis verwendete Batch-Sampling-Methoden, die über das einfache Shuffling hinausgehen, auf die Datenschutzgarantien von DP-SGD?

Andere in der Praxis verwendete Batch-Sampling-Methoden, die über das einfache Shuffling hinausgehen, können unterschiedliche Auswirkungen auf die Datenschutzgarantien von DP-SGD haben. Zum Beispiel kann die Verwendung von Poisson-Subsampling im Vergleich zum deterministischen Sampling zu besseren Datenschutzgarantien führen, da die Analyse von Poisson-Subsampling einfacher durchzuführen ist und numerisch genauere Ergebnisse liefert. Auf der anderen Seite kann die Verwendung von komplexeren Batch-Sampling-Methoden, die asymmetrisches Shuffling oder andere Techniken verwenden, zu unterschiedlichen Datenschutzgarantien führen, die möglicherweise besser oder schlechter als die von einfachem Shuffling sind. Es ist wichtig, die Auswirkungen verschiedener Batch-Sampling-Methoden auf die Datenschutzgarantien von DP-SGD sorgfältig zu untersuchen, um die bestmögliche Balance zwischen Datenschutz und Nützlichkeit zu gewährleisten.