المفاهيم الأساسية
FedSSA는 지역-전역 지식 전달을 위한 의미 유사성 기반 헤더 매개변수 집계와 전역-지역 지식 전달을 위한 적응형 매개변수 안정화 전략을 통해 모델 이질성 개인화 연합 학습의 성능과 효율성을 향상시킨다.
الملخص
이 논문은 모델 이질성 개인화 연합 학습을 위한 새로운 프레임워크인 FedSSA를 제안한다. FedSSA는 두 가지 핵심 모듈로 구성된다:
지역-전역 지식 전달: 각 클라이언트의 이질적인 로컬 모델의 헤더 매개변수를 의미 유사성 기반으로 집계하여 전역 모델을 업데이트한다. 이를 통해 각 클라이언트의 개인화된 모델 성능을 향상시킨다.
전역-지역 지식 전달: 적응형 매개변수 안정화 전략을 통해 전역 헤더 매개변수와 과거 로컬 헤더 매개변수를 융합하여 각 클라이언트의 로컬 모델을 업데이트한다. 이를 통해 분류 경계를 안정화하고 수렴 속도를 높인다.
이론적 분석을 통해 FedSSA의 수렴성을 증명하였다. 실험 결과, FedSSA는 7개의 최신 MHPFL 기법 대비 최대 3.62% 높은 정확도, 15.54배 높은 통신 효율, 15.52배 높은 계산 효율을 달성했다.
الإحصائيات
각 클라이언트의 로컬 모델 그래디언트는 L1-Lipschitz 부드러움을 만족한다.
각 클라이언트의 랜덤 그래디언트는 편향되지 않고 분산이 bounded 된다.
각 클라이언트의 로컬 헤더 매개변수와 전역 헤더 매개변수 간 분산이 bounded 된다.
اقتباسات
"FedSSA는 지역-전역 지식 전달을 위한 의미 유사성 기반 헤더 매개변수 집계와 전역-지역 지식 전달을 위한 적응형 매개변수 안정화 전략을 통해 모델 이질성 개인화 연합 학습의 성능과 효율성을 향상시킨다."
"FedSSA는 7개의 최신 MHPFL 기법 대비 최대 3.62% 높은 정확도, 15.54배 높은 통신 효율, 15.52배 높은 계산 효율을 달성했다."