Conceitos Básicos
연합학습에서 양방향 선거와 개별 관점을 활용하여 백도어 공격을 효과적으로 방어할 수 있다.
Resumo
이 논문은 연합학습에서 백도어 공격에 대한 방어 기법을 제안한다. 기존 방식은 감염된 모델의 영향을 완화하거나 감염된 모델을 제외하는 방식이었지만, 실제로는 양호한 모델과 감염된 모델이 뒤섞여 있어 명확한 경계를 찾기 어려웠다.
이 논문에서는 Snowball이라는 새로운 방식을 제안한다. Snowball은 개별 모델의 관점에서 양방향 선거를 통해 모델 업데이트를 선별한다.
하향식 선거: 각 모델 업데이트가 가장 가까운 몇 개의 동료 모델 업데이트에 투표하여 일부 모델 업데이트를 선출한다.
상향식 선거: 선출된 모델 업데이트를 중심으로 점진적으로 더 많은 모델 업데이트를 선별한다. 이때 변분 자동 인코더(VAE)를 사용하여 모델 업데이트 간 차이에 초점을 맞춘다.
이를 통해 복잡한 비 IID 데이터와 높지 않은 중독 데이터 비율, 상대적으로 많은 공격자 비율에서도 효과적으로 백도어 공격을 방어할 수 있다. 또한 전체 모델 정확도에 미치는 영향도 작다.
Estatísticas
모델 업데이트 간 거리 차이가 데이터 분포 차이와 양의 상관관계를 가진다.
감염된 모델 업데이트와 양호한 모델 업데이트 간 차이의 L2 노름이 점점 작아진다.
Citações
"If infected updates are continually filtered out, ∃tC < T such that after round tC, we have E(∥∆wB
i − ∆wB
j ∥2) − E(∥∆w∗
i − ∆w∗
j∥2) < 0."
"It is easier to push a stack of nonlinear layers towards zero than towards identity mapping."