核心概念
연합학습 시스템에서 파라미터 서버와 클라이언트 간의 독점적 시장 구조를 활용하여, 클라이언트의 성능 향상 기여도와 컴퓨팅/통신 능력 이질성에 따라 차별화된 가격을 제공함으로써 연합학습의 성능을 높이고 클라이언트 참여 유도 비용을 줄일 수 있다.
要約
이 논문은 연합학습(Federated Learning, FL) 시스템에서 발생하는 분산 자원 관리 문제를 해결하기 위해 가격차별 게임(Price-Discrimination Game, PDG)을 제안한다.
- 연합학습 시스템에서 파라미터 서버(PS)와 클라이언트 간의 독점적 시장 구조를 활용하여, PS가 클라이언트의 성능 향상 기여도와 컴퓨팅/통신 능력 이질성에 따라 차별화된 가격을 제공한다.
- PDG 문제는 혼합정수 비선형 프로그래밍 문제이므로, 낮은 계산 복잡도와 낮은 통신 오버헤드를 가지는 분산 반휴리스틱 알고리즘을 설계하여 내쉬 균형을 구한다.
- 시뮬레이션 결과, PDG는 학습 손실, 학습 시간, 클라이언트 참여 유도 비용 간의 좋은 trade-off를 달성한다.
統計
클라이언트 m의 한 라운드 로컬 학습에 소요되는 시간 Tm은 Tm = T com
m + T trn
m 로 표현된다.
클라이언트 m의 한 라운드 로컬 학습에 소비되는 에너지 Etrn
m과 Ecom
m은 각각 Etrn
m = vmf 2
mcmIm|Dm|, Ecom
m = pm|ωm|/rm으로 표현된다.
引用
"연합학습 시스템에서 파라미터 서버(PS)와 클라이언트 간의 독점적 시장 구조를 활용하여, PS가 클라이언트의 성능 향상 기여도와 컴퓨팅/통신 능력 이질성에 따라 차별화된 가격을 제공한다."
"PDG 문제는 혼합정수 비선형 프로그래밍 문제이므로, 낮은 계산 복잡도와 낮은 통신 오버헤드를 가지는 분산 반휴리스틱 알고리즘을 설계하여 내쉬 균형을 구한다."