本論文では、ストリーミング差分プライバシーの下でのL2平均推定問題を扱う。具体的には以下の2つの課題に取り組む:
既存の平均推定手法は、L∞ノルムに最適化されており、L2ノルムに適応するためにランダム回転やKashinの表現を用いているため、平均二乗誤差(MSE)の最適な定数倍を達成できない。
通信-プライバシートレードオフの最適化を達成する手法は、ストリーミング差分プライバシー設定(例えば木構造集約やマトリクス因子分解)に自然に拡張できず、DP-FTRL型の最適化手法と互換性がない。
本研究では、これらの課題に取り組むため、以下の2つの新しい手法を提案する:
L2ノルムに直接対応する新しいプライバシー会計手法を導入し、スパース化ガウシアンメカニズムのMSEを、無圧縮ガウシアンメカニズムに近づける。
スパース化ガウシアンメカニズムをストリーミング差分プライバシー設定に拡張し、DP-FTRL型の最適化手法に適合した精密なプライバシー会計手法を提供する。
実験的に、提案手法は様々なFLタスクにおいて、DP-SGDの圧縮率を100倍以上改善することを示す。
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Wei-Ning Che... um arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.02341.pdfTiefere Fragen