核心概念
가우시안 스무딩은 신경망 인증 훈련에서 발생하는 불연속성과 민감성 문제를 해결할 수 있으며, 이를 통해 더 정확한 경계 계산 방법을 사용하여 더 우수한 성능의 신경망을 학습할 수 있다.
摘要
이 논문은 신경망 인증 훈련의 역설을 해결하기 위해 가우시안 스무딩을 적용하는 방법을 제안한다. 신경망 인증 훈련에서는 더 정확한 경계 계산 방법을 사용할수록 오히려 성능이 저하되는 역설이 발생한다. 이는 더 정확한 경계 계산 방법이 불연속적이고 민감한 손실 함수를 유발하기 때문이다.
논문에서는 가우시안 스무딩을 통해 이러한 문제를 해결할 수 있음을 보인다. 가우시안 스무딩은 손실 함수를 연속적이고 미분 가능하게 만들어 최적화를 용이하게 한다. 또한 가우시안 스무딩은 손실 함수의 민감성을 완화시킬 수 있다.
논문은 PGPE 알고리즘을 사용하여 가우시안 스무딩된 손실 함수를 최적화하는 새로운 인증 훈련 방법을 제안한다. 실험 결과, 이 방법을 사용하면 더 정확한 경계 계산 방법을 사용할수록 더 우수한 성능의 신경망을 학습할 수 있음을 보여준다. 이는 가우시안 스무딩이 신경망 인증 훈련의 역설을 해결할 수 있음을 확인한다.
統計資料
더 정확한 경계 계산 방법(DEEPPOLY)을 사용하면 더 높은 인증 정확도를 달성할 수 있다.
가우시안 스무딩을 적용하면 더 정확한 경계 계산 방법을 사용할수록 더 높은 인증 정확도와 일반화 정확도를 달성할 수 있다.
가우시안 스무딩을 적용한 DEEPPOLY 기반 훈련 방법은 기존 최신 방법들을 능가하는 성능을 보인다.
引述
"Gaussian Loss Smoothing can alleviate both of these issues."
"When using this training method, we observe that tighter bounds indeed lead to strictly better networks that can outperform state-of-the-art methods on the same network."