Concepts de base
CLIP 기반 개념 병목 모델을 제안하여 기존 모델의 정확도 저하 문제를 해결하고 중간 표현의 희소성을 활용하여 모델의 해석 가능성을 높였다.
Résumé
이 논문은 CLIP 기반 개념 병목 모델(CBM)을 제안한다. 기존 CBM 모델은 정확도가 낮고 개념 집합 준비가 어려운 문제가 있었다. 저자들은 이를 해결하기 위해 다음과 같은 방법을 제안했다:
- Concept Matrix Search(CMS) 알고리즘: CLIP의 이미지-개념 유사도 점수를 활용하여 CLIP 모델의 정확도를 높이고 해석 가능성을 높였다.
- CBM 프레임워크: CLIP 기반 다중 모달 인코더에 개념 병목 레이어를 추가하고, 희소성을 유도하는 다양한 손실 함수를 사용하여 모델을 학습했다. 이를 통해 정확도 저하 문제를 해결하고 중간 표현의 해석 가능성을 높였다.
실험 결과, 제안한 Sparse-CBM 모델이 기존 모델 대비 CIFAR10, CIFAR100, CUB200 데이터셋에서 우수한 성능을 보였다. 또한 CMS 알고리즘도 CLIP 모델의 정확도를 향상시키는 것으로 나타났다.
Stats
CLIP 기반 CBM 모델은 CIFAR10에서 91.17%, CIFAR100에서 74.88%, CUB200에서 80.02%의 정확도를 달성했다.
CMS 알고리즘은 CIFAR10에서 85.03%, CIFAR100에서 62.95%, CUB200에서 65.17%의 정확도를 보였다.
Citations
"Why did you choose this particular class?", "Based on what results did you predict it?"
"Sparse representation of concepts activation vector is meaningful in Concept Bottleneck Models."