이 논문은 대규모 언어 모델(LLM)을 활용하여 지식 그래프 완성(KGC) 작업을 수행하는 방법을 탐구한다. KGC는 지식 그래프에서 누락된 트리플을 예측하는 작업이다. 기존 LLM 기반 KGC 방법은 LLM의 추론 능력을 충분히 활용하지 못하고 지식 그래프의 중요한 구조 정보를 간과하는 문제가 있다.
이 논문에서는 LLM에 지식 그래프의 구조 정보를 효과적으로 주입하는 방법을 제안한다. 먼저 기존 LLM 패러다임인 in-context learning과 instruction tuning을 구조 정보를 활용하도록 확장한다. 이를 통해 LLM이 지식 그래프의 구조 정보를 이해하고 활용할 수 있도록 한다.
또한 지식 접두사 어댑터(KoPA)라는 새로운 방법을 제안한다. KoPA는 지식 그래프의 구조 정보를 사전 학습된 구조 임베딩으로 표현하고, 이를 LLM의 텍스트 표현 공간으로 매핑하여 입력 프롬프트의 접두사로 활용한다. 이를 통해 LLM이 지식 그래프의 구조 정보를 이해하고 활용할 수 있도록 한다.
실험 결과, KoPA가 기존 방법들에 비해 우수한 성능을 보였으며, 특히 엔티티 예측 등 일반화 능력 측면에서 강점을 보였다. 이는 KoPA가 지식 그래프의 구조 정보를 효과적으로 LLM에 전달하여 구조 인식 추론 능력을 향상시킬 수 있음을 보여준다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yichi Zhang,... at arxiv.org 04-16-2024
https://arxiv.org/pdf/2310.06671.pdfDeeper Inquiries