Centrala begrepp
온라인 모델 선택 문제에서 분산 데이터 환경에서 협업이 필요한지 여부를 계산 비용과 예측 성능의 관점에서 분석한다.
Sammanfattning
이 논문은 온라인 모델 선택 문제를 분산 데이터 환경에서 다룬다. 기존 연구는 최악의 경우 regret 관점에서 협업이 필요하지 않다고 결론 내렸지만, 이 논문은 계산 비용과 regret의 trade-off 관점에서 다른 결론을 제시한다.
저자들은 두 가지 연방 알고리즘 FOMD-OMS (R = T)와 FOMD-OMS (R < T)를 제안한다.
FOMD-OMS (R = T)의 regret 분석 결과:
- 각 클라이언트의 계산 비용이 O(K)라면 협업이 필요하지 않다.
- 각 클라이언트의 계산 비용을 o(K)로 제한한다면 협업이 필요하다.
FOMD-OMS (R < T)는 예측 성능과 통신 비용의 trade-off를 명시적으로 보여준다.
또한 이 논문은 분산 온라인 다중 커널 학습 문제에 대해 기존 알고리즘들의 regret bound를 개선한다.
Statistik
각 클라이언트의 계산 비용이 O(K)라면 regret bound는 O(MBi,1√T)이다.
각 클라이언트의 계산 비용을 o(K)로 제한한다면 regret bound는 ̃O(MBi,1√T + Bi,3√MKT/J)이다.
FOMD-OMS (R < T)의 regret bound는 O(MBi,1√T/√R + T/R * Bi,2M(K-J)/(J-1)ln(1/δ) + Bi,3T√R√M(K-J)/(J-1)ln(1/δ))이다.
Citat
"협업이 필요하지 않다면 각 클라이언트의 계산 비용을 O(K)로 허용할 수 있다."
"협업이 필요하다면 각 클라이언트의 계산 비용을 o(K)로 제한해야 한다."
"FOMD-OMS (R < T)는 예측 성능과 통신 비용의 trade-off를 명시적으로 보여준다."