실세계 응용 프로그램은 데이터 스트리밍 환경에 직면하므로, 새로운 지식을 흡수하면서도 이전 지식을 망각하지 않는 연속 학습 기술이 필요하다. 최근 사전 학습 모델(PTM)의 발전으로 PTM 기반 연속 학습이 주목받고 있다.