본 논문은 동기화 연합 학습(FL)에서 발생하는 지연 사용자 문제를 해결하기 위한 지연 인지 계층별 연합 학습(SALF) 기법을 제안한다.
동기화 FL은 주기적인 중앙 집중식 모델 업데이트를 통해 다수의 이질적인 단말기에서 신경망 모델을 병렬로 학습하는 방식이다. 그러나 일부 단말기의 계산 자원이 제한적이거나 가용성이 변동되는 경우, FL의 지연 시간이 지연 사용자에 매우 민감해진다.
기존 접근법은 지연 사용자의 불완전한 모델 업데이트를 폐기하거나, 로컬 작업량 및 아키텍처를 변경하거나, 비동기 설정으로 전환하였다. 이는 모두 엄격한 학습 지연 제약 하에서 학습된 모델의 성능에 영향을 미친다.
SALF는 역전파를 통한 신경망 최적화 절차를 활용하여, 지연 사용자의 부분 기울기를 독립적으로 각 계층에 반영하는 계층별 업데이트 기법을 제안한다. 이를 통해 엄격한 지연 제약 하에서도 신뢰할 수 있는 모델 학습이 가능하다.
분석 결과, SALF는 지연 사용자 분포에 대한 약한 가정 하에서 지연이 없는 FL과 동일한 수렴 속도로 수렴함을 보였다. 또한 실험 결과, SALF는 기존 기법 대비 엄격한 지연 제약 하에서 우수한 성능을 달성하였다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Natalie Lang... alle arxiv.org 03-28-2024
https://arxiv.org/pdf/2403.18375.pdfDomande più approfondite