이 논문은 PTM 기반 연속 학습에 대한 종합적인 리뷰를 제공한다. 기존 연속 학습 방법은 랜덤 초기화된 모델에서 시작하지만, PTM 기반 방법은 강력한 일반화 능력을 가진 사전 학습 모델을 활용한다. 이 논문은 PTM 기반 연속 학습 방법을 프롬프트 기반, 표현 기반, 모델 혼합 기반의 세 가지 범주로 분류하고 각각의 장단점을 분석한다. 또한 다양한 벤치마크 데이터셋에 대한 실험 결과를 제시하고, 공정한 비교를 위한 고려사항을 논의한다. 마지막으로 PTM 기반 연속 학습의 미래 연구 방향을 제시한다.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Da-Wei Zhou,... ที่ arxiv.org 04-24-2024
https://arxiv.org/pdf/2401.16386.pdfสอบถามเพิ่มเติม