核心概念
현실 세계 응용 프로그램에 부합하는 소량 관계 추출을 위한 새로운 메타 데이터셋을 소개하고, 이를 활용하여 다양한 소량 관계 추출 방법론을 종합적으로 평가한다.
摘要
이 논문은 소량 관계 추출(FSRE) 작업을 위한 메타 데이터셋을 소개한다. 이 메타 데이터셋은 기존의 감독 학습 관계 추출 데이터셋인 NYT29, WIKIDATA, TACRED를 활용하여 구축되었다. 이 데이터셋은 현실 세계 응용 프로그램에 부합하도록 변환되었는데, 이는 다음과 같은 특징을 포함한다: 1) 테스트 관계 클래스가 배경 데이터셋에 없는 새로운 관계, 2) 각 관계 클래스에 대한 훈련 데이터가 매우 적음(1개 또는 5개), 3) 관계 분포가 균일하지 않음, 4) 대부분의 관계 후보가 관심 관계에 해당하지 않음, 5) 테스트 시 관찰되는 관계 후보 중 배경 데이터셋에도 없는 경우가 많음. 이 메타 데이터셋을 활용하여 6개의 최신 FSRE 방법론을 종합적으로 평가한 결과, 어떤 방법도 일관되게 우수한 성능을 보이지 않았으며, 전반적인 성능도 낮은 수준이었다. 이는 이 분야의 향후 연구가 필요함을 시사한다.
統計資料
대부분의 관계 후보가 관심 관계에 해당하지 않는다.
테스트 시 관찰되는 관계 후보 중 배경 데이터셋에도 없는 경우가 많다.
引述
"Considering this task setup, a realistic choice for solving this problem is few-shot learning (FSL) and its RE equivalent, few-shot relation extraction (FSRE), in which (a) each relation class is associated with a very small number of examples (typically 1 or 5), and the relation classes in the testing partition are different from any relations a model might have seen before."
"Our evaluation reveals that none of the models emerged as a definitive winner. Furthermore, the overall performance of the best models was notably low, indicating the substantial need for future research."