이 논문은 사전 학습된 모델의 일반적 지식을 유지하면서 새로운 정보를 효과적으로 학습하는 방법을 제안한다.
주요 내용은 다음과 같다:
사전 학습된 모델의 일반적 지식 손실 문제를 해결하기 위해, 모델의 특정 층과 매개변수를 선별적으로 업데이트하는 방법을 제안한다.
모델의 첫 번째 MLP 층의 매개변수를 선별하여 업데이트하는 것이 효과적이라는 것을 보여준다. 이를 통해 새로운 정보를 학습하면서도 사전 지식을 잘 유지할 수 있다.
다양한 실험을 통해 제안 방법이 기존 방법들에 비해 새로운 과제 학습 성능을 높이면서도 사전 지식 손실을 최소화할 수 있음을 입증한다.
매개변수 선별 방식, 업데이트 층 선택 등 제안 방법의 핵심 구성 요소에 대한 상세한 분석을 제공한다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Wenxuan Zhan... a las arxiv.org 04-22-2024
https://arxiv.org/pdf/2308.12462.pdfConsultas más profundas