이 연구는 Out-of-Distribution 텍스트 분류 문제에 초점을 맞추고 있다. 기계 학습 모델은 훈련 도메인과 다른 도메인의 데이터에 적용할 때 성능이 저하되는 문제가 있다. 이를 해결하기 위해 저자들은 IMO(Invariant features Masks for Out-of-Distribution)라는 새로운 방법을 제안한다.
IMO는 사전 학습된 딥 트랜스포머 인코더에서 도메인 불변 특징과 핵심 토큰 표현을 선별하는 방식으로 작동한다. 구체적으로:
이를 통해 과잉 상관관계를 완화하고 도메인 불변 표현을 학습할 수 있다. 저자들은 다양한 실험을 통해 IMO가 강력한 베이스라인들을 크게 능가하는 성능을 보여줌을 입증한다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Tao Feng,Liz... om arxiv.org 04-23-2024
https://arxiv.org/pdf/2404.13504.pdfDiepere vragen