核心概念
Conv-Adapter는 ConvNet 아키텍처에 특화된 매개변수 효율적 전이 학습 모듈로, 다양한 도메인의 분류, 검출, 분할 작업에서 기존 방법 대비 성능 향상을 달성한다.
要約
이 논문은 ConvNet 아키텍처에 특화된 매개변수 효율적 전이 학습(PET) 모듈인 Conv-Adapter를 제안한다. 기존 PET 방법들은 주로 Transformer 아키텍처에 초점을 맞추었지만, ConvNet에 적용하기에는 한계가 있었다.
Conv-Adapter는 깊이 방향 분리 합성곱과 비선형 활성화로 구성된 병목 구조를 가지며, 다양한 삽입 방식을 통해 ConvNet의 중간 표현을 효과적으로 조절한다. 이를 통해 매개변수 효율성과 전이 성능을 동시에 달성한다.
실험 결과, Conv-Adapter는 다양한 도메인의 분류, 검출, 분할 작업에서 기존 PET 방법 대비 우수한 성능을 보였다. 특히 ResNet-50 BiT-M 기반 23개 분류 데이터셋에서 전체 미세 조정 대비 3.5%의 매개변수만으로 유사한 성능을 달성했다. 또한 적은 데이터 환경의 Few-Shot 분류에서도 평균 3.39% 성능 향상을 보였다.
추가로 Conv-Adapter의 설계 선택에 대한 실험적 분석을 통해 매개변수 효율성과 전이 성능의 균형을 달성하는 핵심 요소를 확인했다.
統計
매개변수 효율적 전이 학습(PET) 방법은 Transformer 아키텍처에서 좋은 성과를 보였지만, 대규모 ConvNet에서의 효과는 아직 충분히 연구되지 않았다.
Conv-Adapter는 ConvNet에 특화된 PET 모듈로, 매개변수 효율성과 전이 성능을 동시에 달성한다.
Conv-Adapter는 ResNet-50 BiT-M 기반 23개 분류 데이터셋에서 전체 미세 조정 대비 3.5%의 매개변수만으로 유사한 성능을 달성했다.
Conv-Adapter는 적은 데이터 환경의 Few-Shot 분류에서 평균 3.39% 성능 향상을 보였다.
引用
"Conv-Adapter는 경량, 도메인 전이 가능, 아키텍처 독립적으로 다양한 작업에서 일반화된 성능을 보인다."
"Conv-Adapter는 ResNet-50 BiT-M 기반 23개 분류 데이터셋에서 전체 미세 조정 대비 3.5%의 매개변수만으로 유사한 성능을 달성했다."
"Conv-Adapter는 적은 데이터 환경의 Few-Shot 분류에서 평균 3.39% 성능 향상을 보였다."