이 논문은 연합 학습 환경에서 데이터와 클래스 이질성 문제를 해결하기 위한 새로운 접근법을 제안한다. 기존의 연합 학습 방식은 중앙 서버에 모든 클라이언트의 데이터를 집중하는 방식이었지만, 이는 데이터 프라이버시 문제를 야기한다. 이에 연합 학습이 등장했는데, 이는 클라이언트 기기에서 모델을 학습하고 모델 가중치만을 중앙 서버에 공유하는 방식이다.
그러나 실제 환경에서는 클라이언트 간 데이터 분포의 이질성이 크기 때문에, 이를 해결하기 위한 개인화 기법이 필요하다. 이 논문에서는 표현 학습 기반의 개인화 기법을 제안한다. 표현 학습은 딥러닝 모델을 베이스와 헤드 컴포넌트로 나누는데, 베이스는 모든 클라이언트에 공유되고 헤드는 개별 클라이언트에 남게 된다.
이 논문에서는 베이스 레이어를 더 세부적으로 분할하고 적절한 스케줄링 방법을 적용하는 새로운 접근법을 제안한다. 구체적으로 Vanilla 스케줄링과 Anti 스케줄링 두 가지 방식을 제안한다. Vanilla 스케줄링은 가장 얕은 레이어부터 순차적으로 학습을 진행하고, Anti 스케줄링은 가장 깊은 레이어부터 순차적으로 학습을 진행한다.
실험 결과, 제안 알고리즘은 데이터와 클래스 이질성이 높은 환경에서 기존 알고리즘 대비 높은 정확도를 달성했으며, Vanilla 스케줄링은 계산 비용을 크게 줄일 수 있었다. 또한 클라이언트별 정확도 분석을 통해 제안 알고리즘이 특정 클라이언트에 편향되지 않음을 확인했다.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Jaewon Jang,... : arxiv.org 04-30-2024
https://arxiv.org/pdf/2404.17799.pdfDaha Derin Sorular