이 논문은 PTM 기반 연속 학습에 대한 종합적인 리뷰를 제공한다. 기존 연속 학습 방법은 랜덤 초기화된 모델에서 시작하지만, PTM 기반 방법은 강력한 일반화 능력을 가진 사전 학습 모델을 활용한다. 이 논문은 PTM 기반 연속 학습 방법을 프롬프트 기반, 표현 기반, 모델 혼합 기반의 세 가지 범주로 분류하고 각각의 장단점을 분석한다. 또한 다양한 벤치마크 데이터셋에 대한 실험 결과를 제시하고, 공정한 비교를 위한 고려사항을 논의한다. 마지막으로 PTM 기반 연속 학습의 미래 연구 방향을 제시한다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Da-Wei Zhou,... a las arxiv.org 04-24-2024
https://arxiv.org/pdf/2401.16386.pdfConsultas más profundas