이 논문은 노이즈가 있는 원격 감독 환경에서 개체명 인식 문제를 해결하기 위해 전문가 혼합 모델(Mixture of Experts, MoE)을 제안한다.
첫째, 문서를 다양한 전문가 모델에 할당하고 각 전문가 모델을 독립적으로 학습시킨다. 이를 통해 노이즈가 있는 원격 감독 레이블의 영향을 줄일 수 있다.
둘째, 문서-모델 할당 과정에서 공정성을 보장하기 위해 공정 할당 모듈을 도입한다. 이를 통해 특정 모델에 편향되는 것을 방지할 수 있다.
셋째, 제안한 MoE 모듈을 BOND 프레임워크에 통합하여 자기 학습 과정에서 노이즈가 있는 의사 레이블의 영향을 줄인다.
실험 결과, 제안한 BOND-MoE 모델이 다양한 실세계 데이터셋에서 최신 기술 대비 우수한 성능을 보였다. 이를 통해 노이즈가 있는 원격 감독 환경에서 전문가 혼합 모델이 개체명 인식 성능 향상에 효과적임을 확인할 수 있다.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Xinwei Chen,... pada arxiv.org 05-01-2024
https://arxiv.org/pdf/2404.19192.pdfPertanyaan yang Lebih Dalam