Core Concepts
1-최근접 이웃 분류기는 적대적 훈련 기법보다 훈련 및 테스트 데이터에 대해 더 강건한 성능을 보인다.
Abstract
이 논문은 신경망 분류기의 적대적 훈련과 1-최근접 이웃 분류기의 성능을 비교한다.
먼저 이론적으로 1-최근접 이웃 분류기가 훈련 데이터에 대해 완벽한 강건성을 가지며, 테스트 데이터에 대해서도 훈련 데이터 수가 충분히 많다면 완벽한 강건성을 가질 수 있음을 증명한다.
실험에서는 CIFAR-10 데이터셋을 이용해 45개의 이진 분류 문제를 생성하고, 1-최근접 이웃 분류기와 TRADES 등의 적대적 훈련 기법을 비교한다. 그 결과 1-최근접 이웃 분류기가 ℓ2 및 ℓ∞ 강건성 측면에서 TRADES보다 우수한 성능을 보였다.
또한 69개의 CIFAR-10 ℓ∞ 강건 모델과 비교했을 때, 1-최근접 이웃 분류기가 대부분의 모델을 능가하는 강건성을 보였다. 이를 통해 현재의 적대적 훈련 기법들이 1-최근접 이웃 분류기만큼의 강건성을 달성하지 못함을 보여준다.
Stats
1-최근접 이웃 분류기는 훈련 데이터에 대해 100%의 ℓ2 및 ℓ∞ 강건성을 가진다.
1-최근접 이웃 분류기는 테스트 데이터에 대해 ℓ2 강건성 측면에서 TRADES 등의 적대적 훈련 기법을 능가한다.
1-최근접 이웃 분류기는 69개의 CIFAR-10 ℓ∞ 강건 모델 중 대부분을 능가하는 강건성을 보인다.
Quotes
"1-최근접 이웃 분류기는 훈련 데이터에 대해 완벽한 강건성을 가지며, 테스트 데이터에 대해서도 훈련 데이터 수가 충분히 많다면 완벽한 강건성을 가질 수 있다."
"현재의 적대적 훈련 기법들이 1-최근접 이웃 분류기만큼의 강건성을 달성하지 못한다."