Основные понятия
다양한 사전 학습 모델의 지식을 통합하여 베이지안 프레임워크에서 저shot 이미지 분류 문제를 해결하는 효과적인 방법을 제안한다.
Аннотация
이 논문은 저shot 이미지 분류 문제를 해결하기 위해 베이지안 프레임워크에서 다양한 사전 학습 모델의 지식을 통합하는 방법을 제안한다.
사전 학습 모델의 지식을 통합하기 위해 가우시안 프로세스(GP) 회귀 모델을 사용한다. GP 회귀 모델은 작은 데이터에서 효과적이며, 다양한 사전 학습 모델을 통해 정의된 커널 함수를 통해 지식을 통합할 수 있다.
CLIP 모델의 제로샷 분류기를 GP 모델의 평균 함수로 사용하여 사전 지식을 효과적으로 활용한다.
다양한 사전 학습 모델(CLIP, MoCo, DINO 등)을 통해 정의된 깊은 커널을 조합하여 보완적인 지식을 통합한다.
예측 우도를 통해 하이퍼파라미터를 튜닝하여 과적합을 방지하고 일반화 성능을 높인다.
실험 결과, 제안 방법이 다양한 저shot 이미지 분류 벤치마크에서 우수한 성능을 보이며, 특히 OOD 데이터에 대한 강건성과 잘 보정된 불확실성 추정 능력을 보여준다.
Статистика
저shot 이미지 분류 성능이 1샷에서 16샷까지 63.07%에서 70.77%로 향상된다.
제안 방법은 ImageNet-V2와 ImageNet-Sketch와 같은 OOD 데이터에서 경쟁 방법들보다 우수한 성능을 보인다.
제안 방법의 예상 불확실성 추정이 경쟁 방법들보다 OOD 데이터를 더 잘 구분할 수 있다.
Цитаты
"GP 회귀 모델은 작은 데이터에서 효과적이며, 다양한 사전 학습 모델을 통해 정의된 커널 함수를 통해 지식을 통합할 수 있다."
"CLIP 모델의 제로샷 분류기를 GP 모델의 평균 함수로 사용하여 사전 지식을 효과적으로 활용한다."
"다양한 사전 학습 모델을 통해 정의된 깊은 커널을 조합하여 보완적인 지식을 통합한다."
"예측 우도를 통해 하이퍼파라미터를 튜닝하여 과적합을 방지하고 일반화 성능을 높인다."