Główne pojęcia
본 논문에서는 로컬 차등 개인정보 보호를 제공하면서도 중앙 집중식 차등 개인정보 보호 방식에 필적하는 개인정보 보호-유용성 trade-off를 달성하는 새로운 분산 행렬 메커니즘(DMM)을 제안합니다.
본 연구 논문에서는 연합 학습(FL)에서 로컬 차등 개인정보 보호(DP)를 개선하면서도 중앙 집중식 DP 방식의 장점을 활용하는 새로운 분산 행렬 메커니즘(DMM)을 제안합니다.
배경
연합 학습(FL)은 여러 사용자의 데이터를 사용하여 머신러닝 모델을 학습시키는 분산형 학습 방식입니다. 하지만 사용자 데이터의 민감성으로 인해 개인정보 보호는 FL의 중요한 과제입니다. 차등 개인정보 보호(DP)는 FL에서 개인정보 보호를 측정하는 주요 지표로, 중앙 집중식 DP와 로컬 DP, 두 가지 방식으로 구분됩니다.
중앙 집중식 DP: 중앙 서버가 사용자의 원시 그래디언트를 수신하여 노이즈를 추가한 후 다음 모델 버전을 배포합니다.
로컬 DP: 사용자의 로컬 장치에서 노이즈가 추가되며, 서버는 노이즈가 추가된 그래디언트의 집계만 수신합니다.
중앙 집중식 DP는 행렬 메커니즘을 통해 뛰어난 개인정보 보호-유용성 trade-off를 달성했지만, 로컬 DP는 노이즈 상관관계를 활용하지 못해 개인정보 보호-유용성 trade-off가 상대적으로 떨어집니다.
분산 행렬 메커니즘(DMM)
본 논문에서 제안하는 DMM은 로컬 DP를 유지하면서도 행렬 메커니즘을 통해 향상된 개인정보 보호-유용성 trade-off를 달성합니다. 이를 위해 민감한 값을 안전하게 전송하는 암호화 프로토콜을 제안합니다.
주요 특징
패킹된 비밀 공유: 여러 개의 비밀 값을 하나의 공유 세트로 압축하여 효율성을 높입니다.
탈퇴 허용성: 일부 사용자가 학습 과정에서 탈퇴하더라도 프로토콜이 정상적으로 작동합니다.
낮은 오버헤드: 상수 오버헤드(O(1))를 가지므로 실제 환경에서도 효율적으로 사용할 수 있습니다.
실험 결과
Federated EMNIST 및 Stack Overflow Next Word Prediction 데이터셋을 사용한 실험 결과, DMM은 기존 로컬 DP 방식보다 개인정보 보호-유용성 trade-off를 크게 향상시키는 것으로 나타났습니다.
본 논문에서 제안된 DMM은 로컬 DP의 개인정보 보호 수준을 유지하면서도 중앙 집중식 DP에 필적하는 개인정보 보호-유용성 trade-off를 달성하는 효율적인 방법입니다.