Core Concepts
신경망 모델이 훈련 데이터에서 멀리 떨어진 데이터에 대해 과도한 신뢰를 보이는 문제를 해결하기 위해 추가 클래스를 도입하여 이를 방지하는 방법을 제안한다.
Abstract
이 논문은 판별 신경망 모델이 훈련 데이터에서 멀리 떨어진 데이터에 대해 과도한 신뢰를 보이는 문제를 해결하기 위한 방법을 제안한다.
신경망 모델은 일반적으로 입력 데이터가 훈련 데이터에서 멀어질수록 과도한 신뢰를 보이는 경향이 있다. 이는 안전 중요 응용 분야에서 문제가 될 수 있다.
기존 방법들은 이 문제를 해결하지 못하거나 복잡한 접근법을 사용한다. 저자들은 단순한 판별 모델 학습 절차를 유지하면서도 멀리 떨어진 데이터에 대한 과도한 신뢰를 방지할 수 있는 방법을 제안한다.
제안 방법인 PreLoad는 추가 클래스를 도입하여 훈련 데이터에서 멀어질수록 이 추가 클래스의 로짓 값이 다른 클래스의 로짓 값을 압도하도록 한다. 이를 통해 멀리 떨어진 데이터에 대한 과도한 신뢰를 방지할 수 있다.
다양한 벤치마크 실험에서 제안 방법이 경쟁 방법들에 비해 우수한 성능을 보였다.
Stats
훈련 데이터에서 멀어질수록 추가 클래스의 로짓 값이 다른 클래스의 로짓 값을 압도한다.
제안 방법은 ReLU 신경망에서 멀리 떨어진 데이터에 대한 과도한 신뢰를 방지할 수 있다.
Quotes
"ReLU networks—a popular class of neural network architectures—have been shown to almost always yield high confidence predictions when the test data are far away from the training set, even when they are trained with OOD data."
"We overcome this problem by adding a term to the output of the neural network that corresponds to the logit of an extra class, that we design to dominate the logits of the original classes as we move away from the training data."