核心概念
실세계 응용 프로그램은 데이터 스트리밍 환경에 직면하므로, 새로운 지식을 흡수하면서도 이전 지식을 망각하지 않는 연속 학습 기술이 필요하다. 최근 사전 학습 모델(PTM)의 발전으로 PTM 기반 연속 학습이 주목받고 있다.
摘要
이 논문은 PTM 기반 연속 학습에 대한 종합적인 리뷰를 제공한다. 기존 연속 학습 방법은 랜덤 초기화된 모델에서 시작하지만, PTM 기반 방법은 강력한 일반화 능력을 가진 사전 학습 모델을 활용한다. 이 논문은 PTM 기반 연속 학습 방법을 프롬프트 기반, 표현 기반, 모델 혼합 기반의 세 가지 범주로 분류하고 각각의 장단점을 분석한다. 또한 다양한 벤치마크 데이터셋에 대한 실험 결과를 제시하고, 공정한 비교를 위한 고려사항을 논의한다. 마지막으로 PTM 기반 연속 학습의 미래 연구 방향을 제시한다.
統計資料
실세계 응용 프로그램은 데이터 스트리밍 환경에 직면하므로, 새로운 지식을 흡수하면서도 이전 지식을 망각하지 않는 연속 학습 기술이 필요하다.
전통적인 연속 학습 방법은 랜덤 초기화된 모델에서 시작하지만, PTM 기반 방법은 강력한 일반화 능력을 가진 사전 학습 모델을 활용한다.
PTM 기반 연속 학습 방법은 프롬프트 기반, 표현 기반, 모델 혼합 기반의 세 가지 범주로 분류할 수 있다.
引述
"실세계 응용 프로그램은 데이터 스트리밍 환경에 직면하므로, 새로운 지식을 흡수하면서도 이전 지식을 망각하지 않는 연속 학습 기술이 필요하다."
"전통적인 연속 학습 방법은 랜덤 초기화된 모델에서 시작하지만, PTM 기반 방법은 강력한 일반화 능력을 가진 사전 학습 모델을 활용한다."
"PTM 기반 연속 학습 방법은 프롬프트 기반, 표현 기반, 모델 혼합 기반의 세 가지 범주로 분류할 수 있다."