Core Concepts
敵対的な攻撃に対して堅牢な実数値関数の学習可能性を理論的に解明した。有限のfat-shatter次元を持つ関数クラスは、実現可能および非実現可能設定の両方で学習可能であることを示した。さらに、凸関数クラスでは適切な学習が可能である一方で、非凸関数クラスでは不適切な学習アルゴリズムが必要であることを明らかにした。
Abstract
本研究は、機械学習における敵対的な攻撃に対する堅牢性の理論的理解を深めることを目的としている。
まず、ℓp損失関数を用いた堅牢回帰問題を定義した。この問題では、テスト時の入力に対する攻撃に対して堅牢な予測器を学習することが目標となる。
次に、この問題に対する学習アルゴリズムを提案した。アルゴリズムの主な特徴は以下の通り:
有限のfat-shatter次元を持つ関数クラスは、実現可能および非実現可能設定の両方で学習可能であることを示した。
凸関数クラスに対しては、適切な学習が可能であることを示した。一方で、非凸関数クラスでは不適切な学習アルゴリズムが必要であることを明らかにした。
提案アルゴリズムは、敵対的に堅牢なサンプル圧縮スキームに基づいている。これにより、一般化誤差を保証することができる。
さらに、アルゴリズムの標本複雑度を大幅に改善する手法を提案した。これは、弱学習器を用いた中央値ブースティングアルゴリズムに基づいている。
また、(η, β)-堅牢回帰問題についても、実現可能および非実現可能設定の両方で学習アルゴリズムを提案し、標本複雑度の上界を示した。
本研究の成果は、敵対的攻撃に対して堅牢な機械学習モデルの設計に貢献するものと期待される。
Stats
任意の攻撃集合Uに対して、ℓp損失関数の下での堅牢回帰問題の標本複雑度は、O(fat3(H, ǫ/p) fat*(H, ǫ/p) / ǫ5)である。
同問題の標本複雑度を O(fat(H, ǫ/p) fat*(H, ǫ/p) / ǫ2) まで改善できることを示した。
(η, β)-堅牢回帰問題の実現可能設定の標本複雑度は O(fat(H, β) fat*(H, β) / ǫ)、非実現可能設定は O(fat(H, β) fat*(H, β) / ǫ2)である。
Quotes
"有限のfat-shatter次元を持つ関数クラスは、実現可能および非実現可能設定の両方で学習可能である。"
"凸関数クラスに対しては、適切な学習が可能である一方で、非凸関数クラスでは不適切な学習アルゴリズムが必要である。"
"提案アルゴリズムは、敵対的に堅牢なサンプル圧縮スキームに基づいている。"