Khái niệm cốt lõi
대규모 언어 모델을 활용하여 생성한 동료 클래스 정보를 보조 모달리티로 사용하여 분포 외 데이터 탐지 성능을 향상시킬 수 있다.
Tóm tắt
이 논문은 분포 외 데이터 탐지 문제를 다룹니다. 기존의 단일 모달리티 기반 방법들은 다양한 분포 외 데이터를 포착하는 데 어려움이 있었습니다. 이를 해결하기 위해 저자들은 대규모 언어 모델을 활용하여 동료 클래스 라벨을 생성하고, 이를 보조 모달리티로 사용하는 방법을 제안했습니다.
구체적으로 다음과 같은 내용을 다룹니다:
- 대규모 언어 모델을 활용하여 입력 분포 내 클래스와 의미적으로 유사한 동료 클래스 라벨을 생성합니다.
- 이 동료 클래스 라벨과 입력 분포 내 클래스 라벨을 활용하여 대조 손실 함수(PCCLoss)를 정의하고, 이를 통해 입력 분포 내 클래스의 특징을 더욱 명확하게 학습할 수 있습니다.
- 또한 Mixup 기법을 활용하여 모달리티 간 분포 외 데이터를 생성하고, 이를 학습에 활용합니다.
- 실험 결과, 제안 방법이 다양한 벤치마크 데이터셋에서 최신 성능을 달성함을 보여줍니다.
Thống kê
입력 분포 내 데이터와 분포 외 데이터 간 유사성이 높을수록 분포 외 데이터 탐지가 어려워진다.
제안 방법은 대규모 언어 모델을 활용하여 의미적으로 유사한 동료 클래스 라벨을 생성함으로써 이 문제를 해결할 수 있다.
제안 방법은 다양한 벤치마크 데이터셋에서 최신 성능을 달성했다.
Trích dẫn
"Out-of-distribution (OOD) detection is a critical task to ensure the reliability and security of machine learning models deployed in real-world applications."
"The primary difficulty in OOD detection arises when an input image has numerous similarities to a particular class in the in-distribution (ID) dataset, e.g., wolf to dog, causing the model to misclassify it."
"To this end, in this paper, a novel method called ODPC is proposed, in which specific prompts to generate OOD peer classes of ID semantics are designed by a large language model as an auxiliary modality to facilitate detection."