核心概念
연속 학습에서 발생하는 재앙적 망각을 완화하기 위해 암시적 정규화와 명시적 정규화를 결합한 IMEX-Reg 방법을 제안하였다. 이를 통해 제한된 메모리 버퍼 환경에서도 일반화 성능을 향상시킬 수 있다.
要約
연속 학습(CL)은 이전 과제의 지식을 망각하는 재앙적 망각 문제에 직면한다. 리허설 기반 접근법은 이를 완화하는데 효과적이지만, 제한된 메모리 버퍼 환경에서는 버퍼 샘플에 대한 과적합과 이전 정보 손실로 인해 일반화 성능이 저하된다.
이에 저자들은 인간의 학습 방식에서 영감을 얻어 IMEX-Reg를 제안했다. IMEX-Reg는 암시적 정규화와 명시적 정규화를 결합한 접근법이다:
- 암시적 정규화: 대조적 표현 학습(CRL)을 통해 일반화 가능한 특징을 학습한다.
- 명시적 정규화:
- 일관성 정규화를 통해 이전 과제의 지식을 보존한다.
- CRL에서 학습된 단위 초구 내 기하학적 구조를 분류기에 전달하여 약한 감독 하에서도 일반화를 향상시킨다.
실험 결과, IMEX-Reg는 다양한 CL 시나리오에서 기존 방법들을 크게 능가하는 일반화 성능을 보였다. 또한 자연 및 적대적 훼손에 대한 강건성과 과제 최근성 편향이 적은 특성을 보였다. 이론적 분석을 통해 IMEX-Reg의 설계 결정을 뒷받침하였다.
統計
제한된 메모리 버퍼 환경에서 IMEX-Reg는 기존 방법들에 비해 Seq-CIFAR100에서 최대 12.73%p, Seq-TinyImageNet에서 최대 24.74%p 높은 정확도를 달성했다.
IMEX-Reg는 Seq-TinyImageNet에서 기존 방법 대비 최대 37.22% 상대적으로 높은 정확도를 보였다.
IMEX-Reg는 Uniform GCIL-CIFAR100에서 기존 방법 대비 최대 13.24%p, Longtail GCIL-CIFAR100에서 최대 7.8%p 높은 정확도를 달성했다.
引用
"인간은 강력한 귀납적 편향을 활용하여 역동적인 환경에서 지식을 통합하고 전이하는 탁월한 능력을 보인다."
"특징이 단위 초구 상에 있으면 고정 크기 벡터로 인한 훈련 안정성 향상, 클래스 간 선형 분리성 향상 등의 장점이 있다."