Grunnleggende konsepter
평탄성을 고려한 백본 학습이 다양한 도메인에서의 Few-shot 분류 성능을 향상시킨다.
Sammendrag
이 논문은 Few-shot 분류(FSC) 문제에서 백본 학습의 중요성을 강조한다. 특히 백본 학습 시 평탄성을 고려하는 것이 성능 향상에 도움이 된다는 것을 보여준다.
이론적으로 FSC 문제에서 목표 도메인의 일반화 오차는 소스 도메인에서의 SAM 손실과 ERM 손실의 차이, 도메인 간 차이, 그리고 신뢰 구간에 의해 상한이 정해진다는 것을 보였다.
이를 바탕으로 다음과 같은 백본 학습 프로토콜을 제안했다:
SAM 기반의 평탄성 학습을 통해 백본을 학습
다양한 도메인에 대해 미세 조정(fine-tuning)을 수행하여 정보를 융합
타겟 도메인에 가장 적합한 백본을 선택하는 전략 사용
실험 결과, 제안한 프로토콜이 기존 최신 기법들을 대부분의 도메인에서 능가하는 것을 확인했다. 이는 백본 학습의 중요성을 보여주며, 제안 방법이 간단하면서도 경쟁력 있는 기준선이 될 수 있음을 시사한다.
Statistikk
다양한 도메인에서의 FSC 성능 비교 결과, SAM 기반 백본 학습이 ERM 기반 백본 학습보다 대부분의 경우 더 나은 성능을 보였다.
미세 조정 기반 정보 융합 방법이 다른 정보 융합 기법들과 비교해 경쟁력 있는 성능을 보였다.
Sitater
"Flatness Improves Backbone Generalisation in Few-shot Classification"
"Surprisingly, most efforts have only focused on developing architectures for easing the adaptation to the target domain without considering the importance of backbone training for good generalisation."
"We advocate more care should be taken when training these models."