Keskeiset käsitteet
本論文では、外れ値を含む1-Centerおよび1-Meanクラスタリングの近似アルゴリズムを用いて、分散学習における近似最適なレジリエントな集約ルールを提案する。
Tiivistelmä
本論文は、分散機械学習における Byzantine耐性の確保を目的としている。分散学習では、一部のワーカーが不正な情報を送信することで学習性能が大きく劣化する問題がある。そのため、ロバストな集約プロトコルの設計が重要となる。
本論文では、外れ値を含む1-Centerおよび1-Meanクラスタリングの近似アルゴリズムを用いて、レジリエントな集約ルールを提案する。具体的には以下の通り:
- 外れ値を含む1-Centerクラスタリングの2近似アルゴリズムは、(f, λ)-レジリエントな平均化と(δmax, ζ)-agnostic ロバスト性を達成する。
- 外れ値を含む1-Meanクラスタリングの2近似アルゴリズムは、(f, κ)-ロバスト性を達成する。
- 2種類の対立する攻撃(sneak attack, siege attack)に対して、単一の集約ルールでは最適に対処できないことを示し、2段階の集約フレームワーク(2PRASHB)を提案する。
提案手法は、既存の集約ルールと比較して、特に攻撃に対する耐性が高いことが実験的に示された。
Tilastot
分散学習システムには n人のワーカーがおり、そのうちf人がByzantineである。
各ワーカーiの局所データセットDiは m個のデータ点から構成される。
各ワーカーの局所損失関数Li(θ)はL-滑らかである。
正直なワーカーの損失関数の勾配の分散は有界である。
正直なワーカーのデータ分布の異質性は有界である。
Lainaukset
"Byzantine machine learning has garnered considerable at-
tention in light of the unpredictable faults that can occur in
large-scale distributed learning systems."
"The key to secure resilience against Byzantine machines in distributed learning is resilient aggregation mechanisms."
"Although abundant resilient aggregation rules have been proposed, they are de-
signed in ad-hoc manners, imposing extra barriers on compar-
ing, analyzing, and improving the rules across performance
criteria."