이 논문은 자연어 처리 분야에서 다중 과제 학습의 활용에 대해 개괄적으로 설명한다.
먼저 다중 과제 학습 모델의 아키텍처를 병렬 구조, 계층 구조, 모듈식 구조, 생성적 적대 구조 등 4가지 유형으로 분류하고 각각의 특징을 설명한다.
다음으로 다중 과제 학습 모델의 최적화 기법, 즉 손실 함수 구성, gradient 정규화, 데이터 샘플링, 과제 스케줄링 등의 기법을 소개한다.
이어서 다중 과제 학습을 보조 과제 학습과 공동 과제 학습으로 나누어 다양한 자연어 처리 과제에 적용한 사례를 제시한다.
마지막으로 다중 과제 학습 벤치마크 데이터셋을 소개하고 향후 연구 방향을 논의한다.
На другой язык
из исходного контента
arxiv.org
Дополнительные вопросы