Core Concepts
사전 학습된 분류기 fθ(x)에 대해 왜곡에 강건한 확률 할당 방법인 QUANTPROB를 제안한다. QUANTPROB는 확률 보정 오차를 일정하게 유지하면서도 예측 성능을 유지할 수 있다.
Abstract
이 논문에서는 사전 학습된 분류기 fθ(x)에 대해 왜곡에 강건한 확률 할당 방법인 QUANTPROB를 제안한다.
기존의 소프트맥스 확률은 왜곡에 취약하지만, QUANTPROB는 왜곡에 강건하다. 이는 QUANTPROB가 데이터 분포의 구조를 반영하기 때문이다.
확률 보정 오차를 최소화하는 것보다 왜곡에 대해 일정한 확률 보정 오차를 유지하는 것이 더 중요하다. 이는 일정한 확률 보정 오차를 가지면 임계값 조정만으로도 보정이 가능하지만, 최소 확률 보정 오차를 가지면 왜곡에 따라 오차가 변동되어 안정적이지 않기 때문이다.
QUANTPROB는 기존 분류기 fθ(x)의 특성을 유지하면서도 왜곡에 강건한 확률을 할당할 수 있다. 이를 위해 확률과 분위수 사이의 이중성 (duality)을 이용한다.
실험 결과, QUANTPROB는 왜곡에 따른 확률 보정 오차가 일정한 반면, 소프트맥스 확률은 왜곡이 심해질수록 오차가 크게 증가한다. 또한 Platt 스케일링 등의 기존 보정 방법도 왜곡에 따른 오차 증가를 막지 못한다.
Stats
왜곡이 심해질수록 소프트맥스 확률의 확률 보정 오차가 크게 증가하지만, QUANTPROB의 확률 보정 오차는 일정하게 유지된다.
왜곡에 따른 정확도 변화는 QUANTPROB와 소프트맥스 확률이 유사하다.
Quotes
"왜곡에 대해 일정한 확률 보정 오차를 유지하는 것이 더 중요하다. 이는 일정한 확률 보정 오차를 가지면 임계값 조정만으로도 보정이 가능하지만, 최소 확률 보정 오차를 가지면 왜곡에 따라 오차가 변동되어 안정적이지 않기 때문이다."
"QUANTPROB는 기존 분류기 fθ(x)의 특성을 유지하면서도 왜곡에 강건한 확률을 할당할 수 있다. 이를 위해 확률과 분위수 사이의 이중성 (duality)을 이용한다."