Keskeiset käsitteet
単一ステップの敵対的トレーニングにおける壊滅的な過学習を克服するための効果的な方法を提案する。
Tiivistelmä
この記事は、単一ステップの敵対的トレーニングにおける壊滅的な過学習(CO)に焦点を当てています。著者らは、ローカル線形性正則化を導入し、COを効果的かつ効率的に軽減する新しい方法であるELLEを提案しています。ELLEは従来の手法よりも計算コストが低く、COに苦しむことなく高いパフォーマンスを実現します。また、ELLE-Aという適応型正則化パラメータも導入され、特に大きなϵ設定でパフォーマンスが向上します。さらに、他の手法と組み合わせることでCOを回避し、パフォーマンスを向上させることが示されています。
Tilastot
LLR: 42.18 ± (0.20), 75.02 ± (0.09)
CURE: 43.60 ± (0.17), 77.74 ± (0.11)
GradAlign: 44.66 ± (0.21), 80.50 ± (0.07)
ELLE: 42.78 ± (0.95), 80.13 ± (0.32)
ELLE-A: 44.32 ± (0.04), 79.81 ± (0.10)
AT PGD-10: 46.95 ± (0.11), 79.11 ± (0.08)
Lainaukset
"Can we efficiently overcome catastrophic overfitting when enforcing local linearity of the loss?"