Temel Kavramlar
対抗的学習におけるデュアルバッチノーマライゼーションの仕組みを解明し、その正当性を検討する。
Özet
本論文は、対抗的学習(Adversarial Training)におけるデュアルバッチノーマライゼーション(Dual BN)の仕組みを詳細に調査し、その正当性を検討している。
主な内容は以下の通り:
Cross-ATの実験から、クリーンサンプルのBN統計量を使ってもアドバーサリアルサンプルの学習が可能であることを示し、デュアルBNの必要性に疑問を呈する。
BN統計量と affine パラメータを個別に扱う実験を通して、BN統計量の分離よりもaffine パラメータの分離の方が重要であることを明らかにする。これは先行研究の主張と一致する。
クリーンサンプルとアドバーサリアルサンプルの間のドメインギャップが先行研究ほど大きくないことを示す。ノイズサンプルとクリーンサンプルのドメインギャップとも同程度であることを明らかにする。
2つのタスク(クリーン精度とロバスト性)の観点から対抗的学習を捉える新しい仮説を提案する。この仮説は、デュアルBN、アダプター手法、Trades-ATなど、見かけ上関係のない手法を統一的に理解できる。
推論時のBNにおいて、affine パラメータがロバスト性を決定することを明らかにする。
以上の知見は、対抗的学習におけるデュアルBNの仕組みと正当性に関する理解を深めるものである。
İstatistikler
クリーンサンプルとアドバーサリアルサンプルを同じAffine Parametersで正規化した場合、ロバスト性に大きな差はない。
小さな摂動(ϵ = 8/255)では、BN統計量の分離もロバスト性向上に一定の効果がある。
大きな摂動(ϵ = 16/255)では、BN統計量の分離の効果は限定的である。
Alıntılar
"Estimating normalization statistics of the mixture distribution is challenging" and "disentangling the mixture distribution for normalization, i.e., applying separate BNs to clean and adversarial images for statistics estimation, achieves much stronger robustness."
この先行研究の主張は本研究の知見によって否定される。