이 논문은 정보 추출(IE) 작업을 위한 메타 모델을 구축하는 새로운 프레임워크인 MetaIE를 제안한다. IE 작업(개체명 인식, 관계 추출, 사건 추출 등)은 모두 "중요한 정보"를 추출하는 것으로 정의할 수 있다. MetaIE는 LLM에서 이러한 "중요한 정보"를 추출하는 메타 이해를 학습하여 작은 언어 모델로 증류하는 방식으로 구축된다.
구체적으로 MetaIE는 LLM에 문장을 입력하고 "중요한 정보"에 해당하는 레이블-스팬 쌍을 생성하도록 하여 증류 데이터셋을 구축한다. 이 데이터셋을 이용해 작은 언어 모델을 학습시켜 메타 모델을 얻는다.
실험 결과, MetaIE 모델은 다양한 IE 작업에서 우수한 성능을 보였다. 특히 기존 방식의 메타 모델보다 out-of-distribution 작업에서 월등한 성능을 보였다. 이는 MetaIE가 LLM의 메타 이해를 효과적으로 증류할 수 있음을 보여준다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Letian Peng,... alle arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.00457.pdfDomande più approfondite