연합 학습은 데이터 프라이버시를 보장하면서 분산된 데이터를 활용하여 모델을 학습하는 기술이다. 그러나 클라이언트 간 데이터 분포의 차이로 인해 일반화된 모델 성능이 저하되는 문제가 있다.
이 논문에서는 개인화된 연합 학습 기법인 FedBSD를 제안한다. FedBSD는 각 클라이언트 모델을 공유 백본과 개인화된 헤드로 나누어 학습한다. 클라이언트는 공유 백본만을 서버에 전송하고, 서버는 이를 통합하여 글로벌 백본을 생성한다. 이후 각 클라이언트는 글로벌 백본을 교사 모델로 하여 자기 증류를 수행함으로써 공유 백본의 성능을 향상시킨다. 이를 통해 공유 백본의 표현력을 높이면서도 개인화된 헤드를 유지할 수 있다.
실험 결과, FedBSD는 기존 연합 학습 기법들에 비해 우수한 성능을 보였으며, 특히 데이터 이질성이 높은 환경에서 강점을 발휘하였다. 또한 통신 비용 측면에서도 효율적인 것으로 나타났다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문