Core Concepts
지식 강화 언어 모델의 사전 학습 시 지식 주입과 학습 효율성을 높이는 새로운 방법론을 제안한다.
Abstract
이 논문은 지식 강화 언어 모델(KEPLM)의 사전 학습 과정을 개선하는 새로운 방법론인 TRELM을 소개한다.
첫째, 중요한 개체에 대해서만 지식을 주입하는 방식으로 지식 주입의 잡음을 줄인다.
둘째, 지식 증강 메모리 뱅크를 구축하여 이전에 학습된 중요 지식을 활용함으로써 사전 학습 과정을 안내하고 수렴 속도를 높인다.
셋째, 피드포워드 신경망 내의 지식 경로를 동적으로 찾아 선별적으로 모델 파라미터를 업데이트하는 방식으로 계산 효율성을 높인다.
실험 결과, TRELM은 지식 프로빙 과제와 지식 기반 언어 이해 과제에서 최신 기술을 능가하며, 사전 학습 시간을 최소 50% 단축할 수 있음을 보여준다.
Stats
지식 그래프는 3,085,345개의 개체와 822개의 관계 유형으로 구성되어 있다.
사전 학습 데이터로 2020년 3월 1일 기준 영어 위키피디아 데이터를 사용하였다.
Quotes
"대부분의 이전 KEPLM은 지식을 무차별적으로 주입하여 잡음 지식(redundant 또는 irrelevant 정보)을 도입할 수 있다."
"일부 방법은 추가적인 지식 인코더를 사용하여 모델 백본을 수정하므로 유연성이 떨어지며, 이러한 인코더를 최적화하면 모델의 계산 효율성에 악영향을 미칠 수 있다."