핵심 개념
본 논문에서는 사전 훈련된 모델을 사용하는 교차 사일로 연합 학습에서 통신 라운드를 줄이기 위해 로컬 모델 보간 기반 기법인 "로컬 우수 수프(LSS)"를 제안합니다. LSS는 정규화된 모델 보간을 통해 연결된 저손실 영역을 탐색하여 로컬 교육을 향상시켜 사전 훈련된 모델의 원활한 적응을 촉진합니다.
초록
로컬 우수 수프: 교차 사일로 연합 학습에서 모델 병합의 촉매제
Chen, M., Jiang, M., Zhang, X., Dou, Q., Wang, Z., & Li, X. (2024). Local Superior Soups: A Catalyst for Model Merging in Cross-Silo Federated Learning. Advances in Neural Information Processing Systems, 38.
본 연구는 데이터 이질성이 존재하는 교차 사일로 연합 학습에서 통신 라운드를 줄이고 사전 훈련된 모델의 적응성을 향상시키는 효율적인 방법을 제시하는 것을 목표로 합니다.