Core Concepts
FL의 일반화를 향상시키기 위해 그룹 연결성을 개선하는 방법을 연구하고 제안합니다.
Abstract
FL은 여러 클라이언트가 협력하여 글로벌 모델을 학습하는 분산 학습 패러다임입니다.
그룹 연결성을 개선하기 위해 고정 앵커 모델을 활용하여 클라이언트의 로컬 모델을 개선합니다.
연구 결과, 제안된 방법은 다양한 설정에서 FL의 일반화를 향상시킬 수 있음을 보여줍니다.
Introduction
FL은 여러 클라이언트가 협력하여 글로벌 모델을 학습하는 분산 학습 패러다임입니다.
클라이언트의 데이터가 이질적이기 때문에 모델 드리프트가 발생하고 일반화가 저하됩니다.
Transitivity of Linear Mode Connectivity
선형 모드 연결성의 추이를 검증하여 LMC의 장벽을 줄이고 그룹 연결성을 향상시킵니다.
Transitivity of Group Connectivity
여러 모델 간의 그룹 연결성을 연구하고 개선하여 일반화를 향상시킵니다.
Stats
이 논문은 여러 데이터셋 및 모델을 사용하여 FL의 일반화를 개선하는 방법을 연구합니다.
Quotes
"FL은 여러 클라이언트가 협력하여 글로벌 모델을 학습하는 분산 학습 패러다임입니다."
"그룹 연결성을 개선하기 위해 고정 앵커 모델을 활용하여 클라이언트의 로컬 모델을 개선합니다."