核心概念
지속적 학습에서 재앙적 망각을 완화하기 위해 클래스 프로토타입을 학습하고 확산 모델의 크로스 어텐션 레이어에 경사 투영 기법을 적용하여 이전 과제의 표현을 효과적으로 유지하는 방법을 제안한다.
要約
이 논문은 지속적 학습(Continual Learning)에서 재앙적 망각(Catastrophic Forgetting) 문제를 해결하기 위한 방법을 제안한다.
-
클래스 프로토타입 학습: 각 클래스의 핵심 특징을 포착하는 학습 가능한 프로토타입을 도입한다. 이 프로토타입은 확산 모델의 디노이징 과정에 통합되어 이전 과제의 고품질 이미지 생성을 돕는다.
-
경사 투영 기법: 확산 모델의 크로스 어텐션 레이어에 경사 투영 기법을 적용하여 이전 과제의 표현을 현재 과제에서 최대한 유지하도록 한다. 이를 통해 확산 모델의 재앙적 망각을 추가로 완화한다.
실험 결과, 제안 방법인 GPPDM은 다양한 벤치마크 데이터셋에서 기존 최신 모델들을 크게 능가하는 성능을 보였다. 평균 정확도가 크게 향상되고 평균 망각률이 크게 감소하였다.
統計
지속적 학습에서 재앙적 망각은 주요 장애물이다.
생성 모델 기반 방법인 Deep Generative Replay(DGR)는 이전 과제의 데이터를 생성하여 분류기의 성능 유지를 돕는다.
그러나 생성 모델 자체도 재앙적 망각에 시달려 생성 데이터의 품질이 점차 저하된다.
引用
"Mitigating catastrophic forgetting is a key hurdle in continual learning."
"A major issue is the deterioration in the quality of generated data compared to the original, as the generator continuously self-learns from its outputs."