Khái niệm cốt lõi
연방 학습 환경에서 데이터 분포의 이질성으로 인한 성능 저하 문제를 해결하기 위해, 각 트리 앙상블의 학습률을 학습 가능하도록 하여 성능을 향상시킴.
Tóm tắt
이 논문은 연방 학습 환경에서 그래디언트 부스팅 트리(XGBoost) 모델을 효율적으로 학습하는 방법을 제안한다.
데이터 분포의 이질성으로 인해 각 클라이언트의 로컬 XGBoost 모델이 서로 다른 지역 최적점에 수렴하는 문제를 해결하기 위해, 각 트리 앙상블의 학습률을 학습 가능하도록 하였다.
기존 연방 XGBoost 방식은 노드 단위로 클라이언트와 서버 간 통신이 필요하여 통신 비용이 높은 문제가 있었다. 제안 방식은 클라이언트가 로컬 XGBoost 모델을 서버에 전송하고, 서버에서 학습률을 조절하는 1D CNN을 학습하여 통신 비용을 크게 낮출 수 있다.
실험 결과, 제안 방식은 기존 최신 방식과 성능이 유사하면서도 통신 비용을 25배에서 700배 가량 낮출 수 있음을 보였다. 또한 제안 방식의 CNN 모델은 해석 가능성이 높다.
Thống kê
각 클라이언트의 로컬 XGBoost 모델의 예측 결과를 합산하여 최종 예측 결과를 계산한다.
각 클라이언트의 로컬 XGBoost 모델은 500개의 트리로 구성된다.
Trích dẫn
"데이터 분포의 이질성으로 인해 각 클라이언트의 로컬 XGBoost 모델이 서로 다른 지역 최적점에 수렴하는 문제를 해결하기 위해, 각 트리 앙상블의 학습률을 학습 가능하도록 하였다."
"제안 방식은 클라이언트가 로컬 XGBoost 모델을 서버에 전송하고, 서버에서 학습률을 조절하는 1D CNN을 학습하여 통신 비용을 크게 낮출 수 있다."