Centrala begrepp
연합 학습에서 각 클라이언트의 국지적 경사도를 집계하고, 국지적 모델 파라미터와 평균 파라미터 간의 편차를 고려하여 적응형 학습률을 설계함으로써 모델 성능 향상과 수렴 속도 가속화를 달성한다.
Sammanfattning
이 논문은 연합 학습(Federated Learning) 환경에서 모델 성능 향상과 수렴 속도 가속화를 위한 적응형 학습률 기법을 제안한다.
연합 학습에서는 다수의 클라이언트가 자신의 데이터를 활용하여 모델을 학습하고, 중앙 서버가 이를 취합하여 글로벌 모델을 업데이트하는 방식으로 진행된다. 그러나 클라이언트 간 데이터 분포의 이질성과 클라이언트 drift 현상으로 인해 모델 성능 저하와 수렴 속도 지연이 발생할 수 있다.
이를 해결하기 위해 본 논문에서는 다음과 같은 기법을 제안한다:
- 각 클라이언트의 국지적 경사도를 집계하여 국지적 모델 업데이트에 활용
- 국지적 모델 파라미터와 평균 파라미터 간의 편차를 고려하여 적응형 학습률 설계
- 평균장 이론(mean-field theory)을 활용하여 다른 클라이언트의 정보 없이도 적응형 학습률 결정 가능
이를 통해 데이터 이질성과 클라이언트 drift 문제를 완화하고, 모델 성능 향상과 수렴 속도 가속화를 달성할 수 있다. 이론적 분석과 실험 결과를 통해 제안 기법의 우수성을 입증한다.
Statistik
각 클라이언트의 데이터 크기 𝐷𝑖는 클라이언트마다 다르다.
각 클라이언트의 국지적 경사도 ∇𝐹𝑖(𝒘𝒕
𝒊,𝒍)의 크기는 𝑃 이하로 bounded 되어 있다.
각 클라이언트의 국지적 모델 파라미터 𝒘𝒕
𝒊,𝒍의 크기는 𝑄 이하로 bounded 되어 있다.
Citat
"연합 학습은 다수의 클라이언트가 자신의 데이터를 활용하여 모델을 학습하고, 중앙 서버가 이를 취합하여 글로벌 모델을 업데이트하는 방식으로 진행된다."
"클라이언트 간 데이터 분포의 이질성과 클라이언트 drift 현상으로 인해 모델 성능 저하와 수렴 속도 지연이 발생할 수 있다."