이 연구는 제한된 데이터로 새로운 클래스를 점진적으로 학습하는 문제를 다룬다. 기존 접근법들은 복잡한 구조나 최적화 기법을 사용하지만, 여전히 과적합 및 기존 클래스 성능 저하 문제가 있다.
이 연구에서는 언어 정규화기와 부공간 정규화기를 활용한 새로운 프레임워크를 제안한다. 기본 모델 학습 시 언어 정규화기를 통해 비전-언어 모델에서 추출한 의미 정보를 활용한다. 점진적 학습 시에는 부공간 정규화기를 통해 기본 클래스 간 이미지-텍스트 의미 관계를 학습한다.
이 접근법은 새로운 클래스를 효과적으로 학습하면서도 기존 클래스 성능을 유지할 수 있다. 3개의 벤치마크 데이터셋에서 실험한 결과, 제안 방법이 최신 기법들을 능가하는 성능을 보였다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Anurag Kumar... lúc arxiv.org 05-03-2024
https://arxiv.org/pdf/2405.01040.pdfYêu cầu sâu hơn