사전 학습된 비전 트랜스포머를 활용한 소수 샘플 클래스 증분 학습을 위한 고차 통계량 보정

Core Concepts

사전 학습된 비전 트랜스포머를 활용하여 소수 샘플 클래스 증분 학습 성능을 향상시키기 위해 클래스 간 통계량 보정 기법을 제안한다.

Abstract

본 연구는 소수 샘플 클래스 증분 학습(FSCIL) 문제를 다룬다. FSCIL은 이전에 학습한 클래스를 잊지 않으면서 새로운 클래스를 매우 적은 데이터(5개 샘플)로 학습하는 것을 목표로 한다.
기존 FSCIL 방법들은 첫 번째 태스크에서 좋은 특징 추출기를 학습하고, 이후 태스크에서는 고정된 모델을 사용하여 근접 평균 분류기(NCM)로 분류한다. 최근 연구에서는 ImageNet21k와 같은 대규모 데이터셋에서 사전 학습된 비전 트랜스포머(ViT) 모델을 활용하는 방법이 제안되었다.
본 연구에서는 첫 번째 태스크 학습 방법과 무관하게 소수 샘플 데이터를 더 잘 모델링하는 방법을 탐구한다. 최근 많-샘플 클래스 증분 학습(MSCIL) 연구에서 고차 통계량(공분산 행렬)을 활용하는 방법이 제안되었다. 그러나 소수 샘플 데이터에서는 이러한 통계량 추정이 어렵다는 문제가 있다.
이에 본 연구에서는 기존 클래스의 강건한 공분산 추정치를 활용하여 새로운 클래스의 공분산 행렬을 보정하는 방법을 제안한다. 이를 통해 FeCAM과 RanPAC과 같은 고차 통계량 기반 분류 방법의 성능을 크게 향상시킬 수 있다.
실험 결과, 제안 방법은 다양한 FSCIL 벤치마크에서 기존 방법 대비 큰 성능 향상을 보였다. 특히 소수 샘플 클래스의 분류 성능이 크게 개선되었으며, 이는 조화 평균 정확도 지표에서 확인할 수 있다.

Stats

첫 번째 태스크에서 50개 클래스를 사용하고, 이후 태스크에서는 각 클래스당 5개의 샘플만 사용한다.
사전 학습된 ViT-B/16 모델을 사용하며, 첫 번째 태스크에서 어댑터를 통해 모델을 fine-tuning한다.

Quotes

"Few-shot class-incremental learning (FSCIL) aims to adapt the model to new classes from very few data (5 samples) without forgetting the previously learned classes."
"We explore how these various methods work with few-shot data when using ViT models pre-trained on large-scale datasets like ImageNet-21k."
"We observe that using higher-order feature statistics, FeCAM and RanPAC already achieves better accuracy in the base task. In the incremental tasks, the proposed statistics calibration further improves both the methods and achieves a significant improvement after the last task."

Key Insights Distilled From

Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers

by Dipa... at arxiv.org 04-11-2024

https://arxiv.org/pdf/2404.06622.pdf

Deeper Inquiries

소수 샘플 클래스 증분 학습에서 사전 학습된 모델의 활용 외에 어떤 다른 접근 방식이 있을 수 있을까?

다른 접근 방식으로는 메모리 기반의 접근 방식이 있을 수 있습니다. 이 방법은 이전 클래스의 샘플을 메모리에 저장하고 새로운 클래스를 학습할 때 이전 클래스의 샘플을 활용하여 학습하는 방식입니다. 또한, 동적 가중치 조정이나 네트워크 구조의 동적 변경을 통해 새로운 클래스를 학습하는 방법도 있을 수 있습니다.

소수 샘플 데이터에서 통계량 추정의 어려움을 해결하기 위한 다른 방법은 무엇이 있을까?

소수 샘플 데이터에서 통계량 추정의 어려움을 해결하기 위한 다른 방법으로는 생성 모델을 활용하는 방법이 있을 수 있습니다. 생성 모델을 사용하여 새로운 클래스의 데이터를 생성하고 이를 기반으로 통계량을 추정할 수 있습니다. 또한, 데이터 증강 기법을 활용하여 샘플 데이터를 증폭시키고 다양한 통계량을 추정하는 방법도 있을 것입니다.

본 연구에서 제안한 통계량 보정 기법이 다른 기계 학습 문제에서도 활용될 수 있을까?

본 연구에서 제안한 통계량 보정 기법은 다른 기계 학습 문제에서도 유용하게 활용될 수 있습니다. 특히, 새로운 클래스나 새로운 환경에서의 데이터가 제한적인 경우에 효과적일 수 있습니다. 예를 들어, 이 방법은 새로운 환경에서의 이상 감지나 드리프트 탐지와 같은 문제에 적용될 수 있으며, 데이터의 통계적 특성을 보정하여 모델의 성능을 향상시킬 수 있을 것입니다.