연합 학습은 데이터 프라이버시를 보장하면서 분산된 데이터를 활용하여 모델을 학습하는 기술이다. 그러나 클라이언트 간 데이터 분포의 차이로 인해 일반화된 모델 성능이 저하되는 문제가 있다.
이 논문에서는 개인화된 연합 학습 기법인 FedBSD를 제안한다. FedBSD는 각 클라이언트 모델을 공유 백본과 개인화된 헤드로 나누어 학습한다. 클라이언트는 공유 백본만을 서버에 전송하고, 서버는 이를 통합하여 글로벌 백본을 생성한다. 이후 각 클라이언트는 글로벌 백본을 교사 모델로 하여 자기 증류를 수행함으로써 공유 백본의 성능을 향상시킨다. 이를 통해 공유 백본의 표현력을 높이면서도 개인화된 헤드를 유지할 수 있다.
실험 결과, FedBSD는 기존 연합 학습 기법들에 비해 우수한 성능을 보였으며, 특히 데이터 이질성이 높은 환경에서 강점을 발휘하였다. 또한 통신 비용 측면에서도 효율적인 것으로 나타났다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Pengju Wang,... kl. arxiv.org 09-25-2024
https://arxiv.org/pdf/2409.15636.pdfDybere Forespørgsler