연합학습에서 양방향 선거와 개별 관점을 통한 백도어 공격 방어

Core Concepts

연합학습에서 양방향 선거와 개별 관점을 활용하여 백도어 공격을 효과적으로 방어할 수 있다.

Abstract

이 논문은 연합학습에서 백도어 공격에 대한 방어 기법을 제안한다. 기존 방식은 감염된 모델의 영향을 완화하거나 감염된 모델을 제외하는 방식이었지만, 실제로는 양호한 모델과 감염된 모델이 뒤섞여 있어 명확한 경계를 찾기 어려웠다.
이 논문에서는 Snowball이라는 새로운 방식을 제안한다. Snowball은 개별 모델의 관점에서 양방향 선거를 통해 모델 업데이트를 선별한다.

하향식 선거: 각 모델 업데이트가 가장 가까운 몇 개의 동료 모델 업데이트에 투표하여 일부 모델 업데이트를 선출한다.
상향식 선거: 선출된 모델 업데이트를 중심으로 점진적으로 더 많은 모델 업데이트를 선별한다. 이때 변분 자동 인코더(VAE)를 사용하여 모델 업데이트 간 차이에 초점을 맞춘다.

이를 통해 복잡한 비 IID 데이터와 높지 않은 중독 데이터 비율, 상대적으로 많은 공격자 비율에서도 효과적으로 백도어 공격을 방어할 수 있다. 또한 전체 모델 정확도에 미치는 영향도 작다.

Stats

모델 업데이트 간 거리 차이가 데이터 분포 차이와 양의 상관관계를 가진다.
감염된 모델 업데이트와 양호한 모델 업데이트 간 차이의 L2 노름이 점점 작아진다.

Quotes

"If infected updates are continually filtered out, ∃tC < T such that after round tC, we have E(∥∆wB
i − ∆wB
j ∥2) − E(∥∆w∗
i − ∆w∗
j∥2) < 0."
"It is easier to push a stack of nonlinear layers towards zero than towards identity mapping."

Key Insights Distilled From

Resisting Backdoor Attacks in Federated Learning via Bidirectional Elections and Individual Perspective

by Zhen Qin,Fei... at arxiv.org 03-14-2024

https://arxiv.org/pdf/2309.16456.pdf

Deeper Inquiries

연합학습에서 개별 모델의 관점을 활용하는 다른 방법은 무엇이 있을까?

Snowball은 연합 학습에서 개별 모델의 관점을 활용하는 혁신적인 방법 중 하나입니다. 다른 방법으로는 각 모델이 자체적으로 학습하고 업데이트하는 분산 학습 방법이 있습니다. 이 방법은 각 클라이언트가 로컬 데이터를 사용하여 모델을 학습하고 중앙 서버로 업데이트를 보내는 방식으로 작동합니다. 이를 통해 각 모델은 자체적으로 학습하고 업데이트하며 중앙 서버에서 집계되는 것을 방지할 수 있습니다.

감염된 모델 업데이트와 양호한 모델 업데이트 간 차이를 효과적으로 학습하는 다른 방법은 무엇이 있을까?

차이를 학습하는 다른 방법으로는 Siamese Network나 Triplet Loss와 같은 유사도 학습 방법이 있습니다. Siamese Network는 두 입력 사이의 유사성을 학습하는데 사용되며, Triplet Loss는 앵커 포인트와 긍정 및 부정 예제 사이의 거리를 최적화하여 차이를 학습합니다. 이러한 방법은 감염된 모델 업데이트와 양호한 모델 업데이트 간의 차이를 효과적으로 학습하여 백도어 공격을 탐지하고 방어하는 데 도움이 될 수 있습니다.

연합학습에서 모델 업데이트 선별 과정을 통해 얻을 수 있는 다른 통찰은 무엇이 있을까?

모델 업데이트 선별 과정을 통해 얻을 수 있는 다른 통찰로는 모델 간의 상호 작용 및 영향력을 이해하는 것이 있습니다. 각 모델이 다른 모델을 선별하고 투표하는 과정을 통해 모델 간의 관계와 영향을 파악할 수 있습니다. 또한 선별된 모델이 집계되는 과정에서 어떤 모델이 우선적으로 선택되는지를 통해 모델의 중요성과 신뢰성을 평가할 수 있습니다. 이러한 통찰은 연합 학습 시스템의 안정성과 신뢰성을 향상시키는 데 도움이 될 수 있습니다.