Core Concepts
연합 학습의 통신 비용을 줄이면서도 일반화 성능을 향상시킬 수 있는 새로운 알고리즘 FedALS를 제안한다.
Abstract
이 논문은 연합 학습의 일반화 성능 향상을 위한 새로운 접근법을 제안한다.
첫째, 연합 학습의 일반화 오차 상한을 분석하였다. 기존 연구보다 더 엄밀한 상한을 제시하였으며, 특히 데이터 분포가 비동일한(non-iid) 경우에 대한 분석을 처음으로 수행하였다.
둘째, 이 분석을 바탕으로 표현 학습(representation learning) 관점에서 해석하였다. 모델을 표현 추출기(representation extractor)와 헤드(head)로 나누어, 표현 추출기 부분의 국소 업데이트 횟수를 늘리는 것이 일반화 성능 향상에 도움이 된다는 통찰을 얻었다.
셋째, 이러한 통찰을 바탕으로 FedALS 알고리즘을 설계하였다. FedALS는 모델의 부분에 따라 다른 국소 업데이트 횟수를 적용하여, 통신 비용을 줄이면서도 일반화 성능을 향상시킨다.
실험 결과, FedALS는 비동일한 데이터 분포 환경에서 기존 방법들보다 우수한 성능을 보였다. 또한 통신 비용도 크게 감소하였다.
Stats
연합 학습에서 각 클라이언트의 국소 일반화 오차가 작을수록 전체 모델의 일반화 오차가 작아진다.
데이터 분포의 비동일성(non-iidness)이 클수록 전체 모델의 일반화 오차가 증가한다.
국소 업데이트 횟수(τ)가 증가할수록 최적화 성능은 저하되지만, 일반화 성능은 향상된다.
Quotes
"연합 학습은 클라이언트들이 협력적으로 기계 학습 모델을 학습하는 것을 옹호한다."
"연합 학습은 여전히 클라이언트와 파라미터 서버 간의 높은 통신 비용에 시달리고 있다."
"국소 업데이트 횟수(local SGD)를 늘리면 통신 비용을 줄일 수 있지만, 개별 클라이언트가 자신의 지역 최적점으로 수렴하게 되어 전체 최적화 과정에 악영향을 미칠 수 있다."