이 연구는 클래스 불균형 상황에서 AUPRC가 AUROC보다 우수하다는 일반적인 주장을 반박한다.
첫째, 이론적으로 AUROC와 AUPRC의 관계를 분석하여 AUPRC가 고 점수 영역의 오류를 더 선호한다는 것을 보였다. 이는 AUPRC가 고 빈도 부집단에 편향될 수 있음을 의미한다.
둘째, 합성 데이터와 실제 데이터 실험을 통해 AUPRC가 고 빈도 부집단에 더 유리하게 작용하는 것을 확인했다.
셋째, 문헌 조사를 통해 이 잘못된 주장이 널리 퍼져 있으며, 의료 등 중요 분야에서 부적절하게 사용되고 있음을 밝혔다.
결론적으로 이 연구는 평가 지표 선택에 대한 더 신중하고 상황 인지적인 접근의 필요성을 강조한다. 이는 기술적으로 건전하고 공정한 모델 개발에 필수적이다.
To Another Language
from source content
arxiv.org
Głębsze pytania