핵심 개념
다중 모달 퓨 샷 클래스 점진적 학습을 위한 간소화된 방식으로 세션별 이미지-텍스트 임베딩의 분리성을 향상시키고 하이퍼볼릭 거리를 활용하여 이미지-텍스트 쌍의 표현을 개선함.
초록
다중 모달 퓨 샷 클래스 점진적 학습의 도전: 선행 지식을 유지하면서 새로운 데이터를 학습하고 오버피팅 없이 적은 샘플로 학습하는 것
비전-언어 모델의 부상과 도전: 세션별 이미지-텍스트 임베딩의 분리성 향상과 하이퍼볼릭 거리를 통한 표현 개선
실험 결과: 평균 10% 향상, 최소 8배 적은 학습 가능한 매개변수 요구
관련 작업: 퓨 샷 클래스 점진적 학습, 평생 학습, 비전-언어 모델
하이퍼볼릭 거리의 활용: 이미지 분류, 자연어 처리, 객체 감지 등 다양한 분야에서 효과적으로 활용
통계
실험 결과는 평균 10% 향상을 보여줌.
학습 가능한 매개변수는 최소 8배 적음.
인용구
"세션별 이미지-텍스트 임베딩의 분리성을 향상시키기 위해 Session-Specific Prompts (SSP)를 도입합니다."
"하이퍼볼릭 거리는 이미지-텍스트 쌍의 표현을 개선하기 위해 사용됩니다."