Core Concepts
기존의 기계 학습 프라이버시 방어에 대한 평가는 가장 취약한 데이터 포인트의 프라이버시 누출을 제대로 반영하지 못하며, 약한 공격을 사용하고 실용적인 차등 프라이버시 기준과 비교하지 않는다. 이로 인해 프라이버시 누출이 과소평가되고 있다.
Abstract
이 논문은 기계 학습 프라이버시 방어에 대한 기존 평가의 문제점을 지적하고 있다.
첫째, 기존 평가는 데이터셋 전체에 대한 평균적인 공격 성공률을 측정하지만, 이는 개별 데이터 포인트의 프라이버시 누출을 반영하지 못한다. 특히 가장 취약한 데이터 포인트의 프라이버시 누출이 과소평가될 수 있다.
둘째, 기존 평가는 최신 공격 기법을 사용하지 않거나 방어 기법의 특성을 고려하지 않는 등 약한 공격을 사용한다. 이는 방어 기법의 실제 성능을 과대평가할 수 있다.
셋째, 기존 평가는 실용적인 차등 프라이버시 기준과 비교하지 않거나 매우 낮은 정확도의 차등 프라이버시 기준과 비교한다. 이로 인해 휴리스틱 방어 기법의 성능이 과대평가될 수 있다.
이 논문은 이러한 문제점을 해결하기 위해 가장 취약한 데이터 포인트의 프라이버시 누출을 측정하는 평가 방법론을 제안한다. 또한 방어 기법에 맞춰 적응된 공격과 캐너리 데이터를 사용하며, 실용적인 차등 프라이버시 기준과 비교한다. 이를 통해 기존 평가 결과가 프라이버시 누출을 크게 과소평가했음을 보여준다.
Stats
가장 취약한 CIFAR-10 데이터 포인트의 경우 공격의 TPR@0.1% FPR이 99.9%에 달한다. 이는 전체 데이터셋에 대한 평가 결과 4.3%와 큰 차이가 있다.
제안하는 평가 방법론을 적용하면 기존 방어 기법의 프라이버시 누출이 4.3배에서 53.7배까지 증가한다.
Quotes
"Empirical defenses for machine learning privacy forgo the provable guarantees of differential privacy in the hope of achieving higher utility while resisting realistic adversaries."
"We identify severe pitfalls in existing empirical privacy evaluations (based on membership inference attacks) that result in misleading conclusions."