이 연구는 노이즈 레이블이 있는 환경에서 20개의 최신 OOD 탐지 방법들의 성능을 체계적으로 분석하였다. 주요 결과는 다음과 같다:
노이즈 레이블이 있는 경우 OOD 탐지 성능이 크게 저하되며, 특히 20% 이상의 노이즈 레이블에서는 대부분의 방법들이 경쟁력을 잃는다.
기존 연구에서 관찰된 ID 분류 정확도와 OOD 탐지 성능 간의 상관관계는 노이즈 레이블 환경에서 약해지며, 이는 대부분의 방법들이 잘못 분류된 ID 샘플과 OOD 샘플을 구분하지 못하기 때문이다.
거리 기반 OOD 탐지 방법들이 노이즈 레이블 환경에서 상대적으로 강건한 성능을 보이며, 특히 GRAM과 MDSEnsemble이 우수한 결과를 보였다.
노이즈 레이블 환경에서 검증 데이터셋의 레이블 품질이 OOD 탐지 성능 튜닝에 중요한 역할을 하며, 경우에 따라 노이즈 레이블을 사용하는 것이 더 나은 성능을 보일 수 있다.
사전 학습된 분류기와 미세한 도메인 시프트가 있는 OOD 탐지 문제에서도 노이즈 레이블은 OOD 탐지 성능을 크게 저하시킨다.
이 연구 결과는 실제 응용 환경에서 OOD 탐지기의 신뢰성 향상을 위한 중요한 시사점을 제공한다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Galadrielle ... at arxiv.org 04-03-2024
https://arxiv.org/pdf/2404.01775.pdfDeeper Inquiries