Differenzielle Privatheit von DP-SGD: Eine Analyse der Auswirkungen von Batch-Sampling-Methoden

Es gibt einen erheblichen Unterschied zwischen den Datenschutzgarantien der Adaptive Batch Linear Queries (ABLQ)-Mechanismen unter verschiedenen Arten von Batch-Sampling: (i) Shuffling und (ii) Poisson-Unterabtastung. Die übliche Analyse von Differenzial-Privat-Stochastischem-Gradientenabstieg (DP-SGD) interpretiert es als Nachverarbeitung von ABLQ. Während auf Shuffling basierendes DP-SGD in praktischen Implementierungen häufiger verwendet wird, ist es weder analytisch noch numerisch für eine einfache Datenschutzanalyse geeignet. Andererseits ist auf Poisson-Unterabtastung basierendes DP-SGD zwar schwierig skalierbar zu implementieren, hat aber eine gut verstandene Datenschutzanalyse mit mehreren quelloffenen numerisch engen Datenschutzrechnern. Dies hat zu einer gängigen Praxis geführt, in der Praxis Shuffling-basiertes DP-SGD zu verwenden, aber die Datenschutzanalyse für die entsprechende Poisson-Unterabtastungsversion zu verwenden. Unser Ergebnis zeigt, dass es einen erheblichen Unterschied zwischen der Datenschutzanalyse bei Verwendung der beiden Arten von Batch-Sampling geben kann, und rät daher zur Vorsicht bei der Berichterstattung von Datenschutzparametern für DP-SGD.