Core Concepts
자연어로 표현된 지식베이스와 질문을 입력으로 받아 다단계 연역적 추론을 수행하는 반복 신경망 모델을 제안하고, 기존 모델들과 비교 실험을 수행한다.
Abstract
이 논문은 자연어로 표현된 지식베이스와 질문을 입력으로 받아 다단계 연역적 추론을 수행하는 반복 신경망 모델을 제안한다.
먼저, 기존 DeepLogic 모델을 자연어 데이터에 적용할 수 있도록 단어 수준의 임베딩을 사용하고, 게이트 어텐션 메커니즘을 추가하여 IMA-GloVe-GA 모델을 제안한다. 실험 결과, IMA-GloVe-GA 모델이 DeepLogic과 다른 RNN 기반 모델들보다 우수한 성능을 보인다.
또한, 기존 데이터셋들의 깊이 불균형 문제를 해결하기 위해 PARARULE-Plus라는 새로운 대규모 다단계 추론 데이터셋을 개발한다. PARARULE-Plus를 활용하여 모델을 학습시킨 결과, 깊이가 더 깊은 추론 예제에서 성능이 크게 향상되었다.
마지막으로, 모델의 분포 외 일반화 성능을 평가하기 위해 규칙이 섞인 데이터셋에서 실험을 진행한다. 그 결과, IMA-GloVe-GA가 RoBERTa-Large보다 우수한 성능을 보였다.
Stats
깊이가 3 이상인 추론 예제가 적은 기존 데이터셋의 문제를 해결하기 위해 PARARULE-Plus를 개발했다.
PARARULE-Plus에는 깊이 2부터 5까지의 추론 예제가 각각 약 10만 개씩 포함되어 있다.
Quotes
"Combining deep learning with symbolic logic reasoning aims to capitalize on the success of both fields and is drawing increasing attention."
"Inspired by DeepLogic, an end-to-end model trained to perform inference on logic programs, we introduce IMA-GloVe-GA, an iterative neural inference network for multi-step reasoning expressed in natural language."
"Experimental results show DeepLogic with gate attention can achieve higher test accuracy than DeepLogic and other RNN baseline models."