이 논문은 연합학습에서 통신 압축을 활용하는 새로운 알고리즘 SCALLION과 SCAFCOM을 제안한다.
SCALLION은 무편향 압축기를 사용하여 통신 비용을 절감하면서도 데이터 이질성과 부분 참여에 강건한 성능을 보인다. 기존 연합학습 알고리즘에 비해 통신 및 계산 복잡도가 크게 개선되었다.
SCAFCOM은 편향된 압축기를 사용할 수 있도록 설계되었다. 여기에 모멘텀을 도입하여 편향된 압축으로 인한 성능 저하를 효과적으로 극복한다. SCAFCOM 또한 데이터 이질성과 부분 참여에 강건하며, 기존 방법들에 비해 월등한 통신 및 계산 복잡도를 보인다.
실험 결과를 통해 SCALLION과 SCAFCOM이 기존 연합학습 방법과 유사한 성능을 보이면서도 통신 비용을 크게 줄일 수 있음을 확인하였다.
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Xinmeng Huan... : arxiv.org 04-10-2024
https://arxiv.org/pdf/2308.08165.pdfDaha Derin Sorular