이 논문은 오픈 도메인 일반화(ODG)라는 복잡하고 상대적으로 탐구되지 않은 분야에 대한 혁신적인 솔루션인 ODG-CLIP을 제안합니다. ODG-CLIP의 핵심 혁신은 다음과 같습니다:
도메인 인식 프롬프트 학습: 도메인 특화 토큰과 일반 토큰을 결합하여 도메인 적응성과 성능 균형을 달성합니다.
프롬프트 기반 시각적 임베딩 향상: 프롬프트 정보를 활용하여 시각적 임베딩의 식별력을 높이고, 도메인 간 일관성을 유지합니다.
알려진 범주와 새로운 범주에 대한 통합 분류: 알 수 없는 클래스 프롬프트를 모델링하여 테스트 시 아웃라이어를 효과적으로 감지합니다. 이를 위해 안정적인 확산 모델을 활용하여 프록시 이미지를 생성합니다.
ODG-CLIP은 폐쇄 집합 및 오픈 집합 도메인 일반화 설정 모두에서 기존 방법론을 크게 능가하는 성능을 보여줍니다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Mainak Singh... kl. arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.00710.pdfDybere Forespørgsler