Concepts de base
提案された新しい敵対的トレーニング手法は、SVMのマージン概念に着想を得ており、確率的誤り分類保証と共に敵対的にトレーニングされた分類器の有限サンプル複雑性境界を確立しています。
Résumé
- 不確実性下での意思決定と学習が重要視されており、敵対攻撃からのロバストさがますます重要視されている。
- 線形および非線形分類問題に焦点を当て、SVMマージンに触発された新しい敵対的トレーニング手法を提案。
- 両方の線形および非線形分類器について有限サンプル複雑性境界を導出し、自然な分類器の複雑性と一致することを示す。
- 線形および非線形モデル用にLinear Programming(LP)およびSecond Order Cone Programming(SOCP)を使用して最悪ケース代理損失を最小化するアルゴリズムを開発。
- MNISTおよびCIFAR10データセットで数値実験を行い、従来の方法と比較して同等のパフォーマンスを示す。
I. INTRODUCTION
- 不確実性下での意思決定と学習が注目されており、機械学習文献の進歩がデータ駆動型考慮事項へ道を開いた。
- 敵対者はモデル結果を妨害するためにデータ操作できる可能性があり、これは堅牢な解決策を求める。
II. LEARNING IN THE PRESENCE OF AN ADVERSARY
- 学習問題ではリスク量子化関数EP[ℓ(h(x), y)] を最小化する最良仮説h を見つけることが目的。
III. MAIN RESULTS
A. Sample complexity bounds
- Binary classifiers: リップシッツ連続関数クラスH の場合、サンプルサイズm に関するPAC 学習境界は以下で与えられる。
B. Classifier computation
-
Linear programming formulation for linear binary classifiers: 線形プログラム(LP)によって最適化プログラムが与えられる。SVM と似た特徴あり。
-
Second order cone programming formulation for kernel-based binary classifiers: 二次錐計画(SOCP)によってカーネルベースの分類器が計算可能。Cholesky 分解経由でL を取得。
IV. NUMERICAL EXPERIMENTS
A. Simulation set-up: NIST 0/1, NIST 3/8, CIFAR10 Airplane/Dog, CIFAR10 Cat/Dog のデータセットで実験。RoMA スコアでロバスト性評価。
B. Simulation results: MNIST データセットでは0/1 ケースで競合力あるパフォーマンス。CIFAR10 データセットではロバストな分類能力示す。
Stats
Rζrobh≤1m∑i=1ϕ2,ζ(yi·h(xi))+2ζRm(H)+slog12δ2m.
Rnath≤Emϕ1,ξ(y·h(x))≤Rξrobh≤Emϕ2,ξ(y·h(x)).
RS(H)=EBsuph∈H1mm∑i=1σih(si).