이 논문은 신경과학에서 영감을 받아 지속적 학습(CL) 모델의 성능 저하를 방지하는 새로운 프레임워크를 제안한다. 이 프레임워크는 두 가지 핵심 개념으로 구성된다:
특징 증류: CL 강건 특징을 증류하고 이를 다음 과제 학습 시 반복한다. 이는 포유류 뇌의 수면 중 경험 재현 과정을 모방한다.
특징 재통합: 새로운 경험이 이전 경험의 통합에 영향을 미치는 포유류 뇌의 메커니즘을 모방한다. 이를 통해 이전 과제에 대한 특징 중요도 정보를 업데이트하여 CL 모델의 성능 저하를 방지한다.
제안된 프레임워크는 사전 학습된 Oracle CL 모델과 사전 증류된 CL 강건 데이터셋의 필요성을 제거한다. 실험 결과, CL 모델을 제안된 강건 반복 학습 기법으로 학습시킬 경우 기존 방법들을 능가하는 성능을 보였다. 또한 메모리 크기와 과제 수 변화에 따른 실험을 통해 특징 증류 및 재통합 단계의 효과를 입증하였다.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問