이 연구는 클래스 불균형 상황에서 AUPRC가 AUROC보다 우수하다는 일반적인 주장을 반박한다.
첫째, 이론적으로 AUROC와 AUPRC의 관계를 분석하여 AUPRC가 고 점수 영역의 오류를 더 선호한다는 것을 보였다. 이는 AUPRC가 고 빈도 부집단에 편향될 수 있음을 의미한다.
둘째, 합성 데이터와 실제 데이터 실험을 통해 AUPRC가 고 빈도 부집단에 더 유리하게 작용하는 것을 확인했다.
셋째, 문헌 조사를 통해 이 잘못된 주장이 널리 퍼져 있으며, 의료 등 중요 분야에서 부적절하게 사용되고 있음을 밝혔다.
결론적으로 이 연구는 평가 지표 선택에 대한 더 신중하고 상황 인지적인 접근의 필요성을 강조한다. 이는 기술적으로 건전하고 공정한 모델 개발에 필수적이다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Matthew B. A... lúc arxiv.org 04-19-2024
https://arxiv.org/pdf/2401.06091.pdfYêu cầu sâu hơn