Centrala begrepp
지속적 학습에서 과거 과제와 현재 과제의 수렴 보장을 위해 적응형 방법을 제안하고, 이론적 보장과 실험적 성능 향상을 보인다.
Sammanfattning
이 논문은 지속적 학습에서의 수렴 분석과 적응형 방법을 제안한다.
- 지속적 학습을 비선형 최적화 문제로 정식화하고, 과거 과제와 현재 과제의 수렴을 분석한다.
- 과거 과제에 대한 제한적 접근으로 인한 과적합 편향(overfitting bias)과 현재 과제로 인한 재앙적 망각(catastrophic forgetting) 항을 도출한다.
- 이 두 항이 지속적 학습의 수렴에 미치는 영향을 이론적으로 분석한다.
- 적응형 방법(adaptive method)을 제안한다.
- 과거 과제와 현재 과제 간 내적을 이용해 학습률을 적응적으로 조절한다.
- 이를 통해 재앙적 망각을 억제하면서도 현재 과제의 학습을 보장한다.
- 다양한 이미지 분류 과제에서 제안 방법의 우수한 성능을 보인다.
- 기존 방법 대비 망각 지표에서 큰 성능 향상을 보인다.
- 평균 정확도 측면에서도 경쟁력 있는 성능을 달성한다.
Statistik
지속적 학습에서 재앙적 망각 항(Γt)의 누적 합이 클수록 첫 번째 과제의 gradient norm이 증가한다.
지속적 학습 과정에서 Γt의 누적 합이 증가한다.
과적합 편향 항(Bt)의 기대값은 0이다.
Citat
"지속적 학습에서 과거 과제와 현재 과제의 수렴 보장을 위해 적응형 방법을 제안하고, 이론적 보장과 실험적 성능 향상을 보인다."
"지속적 학습을 비선형 최적화 문제로 정식화하고, 과거 과제와 현재 과제의 수렴을 분석한다."
"적응형 방법을 통해 재앙적 망각을 억제하면서도 현재 과제의 학습을 보장한다."