이 논문은 소량 관계 추출(FSRE) 작업을 위한 메타 데이터셋을 소개한다. 이 메타 데이터셋은 기존의 감독 학습 관계 추출 데이터셋인 NYT29, WIKIDATA, TACRED를 활용하여 구축되었다. 이 데이터셋은 현실 세계 응용 프로그램에 부합하도록 변환되었는데, 이는 다음과 같은 특징을 포함한다: 1) 테스트 관계 클래스가 배경 데이터셋에 없는 새로운 관계, 2) 각 관계 클래스에 대한 훈련 데이터가 매우 적음(1개 또는 5개), 3) 관계 분포가 균일하지 않음, 4) 대부분의 관계 후보가 관심 관계에 해당하지 않음, 5) 테스트 시 관찰되는 관계 후보 중 배경 데이터셋에도 없는 경우가 많음. 이 메타 데이터셋을 활용하여 6개의 최신 FSRE 방법론을 종합적으로 평가한 결과, 어떤 방법도 일관되게 우수한 성능을 보이지 않았으며, 전반적인 성능도 낮은 수준이었다. 이는 이 분야의 향후 연구가 필요함을 시사한다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Fahmida Alam... om arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.04445.pdfDiepere vragen