Core Concepts
과대 매개변수화된 데이터 환경에서 분산 학습 알고리즘인 DGD와 DGT의 국소 업데이트 도입이 통신 복잡도 감소에 미치는 영향을 분석하였다. 데이터 이질성 정도와 네트워크 연결성에 따라 국소 업데이트의 효과가 달라짐을 보였다.
Abstract
이 논문은 분산 최적화 문제에서 국소 업데이트가 통신 복잡도 감소에 미치는 영향을 분석하였다. 두 가지 설정을 고려하였다:
평균 손실 함수 f가 강 볼록인 경우
국소 DGT 알고리즘을 분석하였다.
데이터 이질성 정도 δ와 네트워크 연결성 ρ에 따라 국소 업데이트의 효과가 달라짐을 보였다.
δ와 ρ가 작을수록 국소 업데이트를 늘리는 것이 통신 복잡도 감소에 효과적이다.
과대 매개변수화 환경에서 f가 PL 조건을 만족하는 경우
국소 DGD 알고리즘을 분석하였다.
데이터 이질성 정도 δ와 네트워크 연결성 ρ에 따라 국소 업데이트의 효과가 달라짐을 보였다.
δ가 작고 ρ가 클 때 국소 업데이트가 통신 복잡도 감소에 효과적이다.
이를 통해 국소 업데이트의 효과는 데이터 이질성과 네트워크 연결성에 의해 크게 좌우됨을 확인하였다.
Stats
데이터 이질성 정도 δ가 작을수록 국소 업데이트를 늘리는 것이 통신 복잡도 감소에 효과적이다.
네트워크 연결성 ρ가 클수록 국소 업데이트를 늘리는 것이 통신 복잡도 감소에 효과적이다.
Quotes
"데이터 이질성 정도 δ와 네트워크 연결성 ρ에 따라 국소 업데이트의 효과가 달라짐을 보였다."
"δ가 작고 ρ가 클 때 국소 업데이트가 통신 복잡도 감소에 효과적이다."