이 논문은 대규모 언어 모델(LLM)의 성능과 해석 가능성을 향상시키기 위해 명시적이고 구조화된 읽기-쓰기 메모리 모듈을 통합하는 MEMLLM이라는 새로운 방법을 소개한다.
주요 내용은 다음과 같다:
LLM은 매개변수를 통한 암묵적 저장 메커니즘에 의존하므로 희귀 지식과 시간 경과에 따른 성능 저하 문제가 있다. 또한 매개변수 기반 기억은 환각을 이해하고 방지하기 어렵다.
MEMLLM은 구조화되고 명시적인 읽기-쓰기 메모리 모듈을 LLM에 통합하여 이러한 문제를 해결한다. 메모리는 관계 트리플 형식으로 저장되며, LLM은 API를 통해 메모리를 동적으로 읽고 쓸 수 있다.
메모리 쓰기 모델은 입력 텍스트에서 관계를 추출하여 메모리에 저장하고, 메모리 읽기 모델은 디코딩 중 메모리에서 관련 정보를 검색하여 활용한다.
실험 결과, MEMLLM은 전반적인 언어 모델링 성능을 향상시키고, 특히 엔티티와 관련된 텍스트에서 큰 성능 향상을 보였다. 이는 명시적 메모리를 통해 사실적이고 근거 있는 텍스트 생성이 가능해졌음을 보여준다.
To Another Language
from source content
arxiv.org
Глибші Запити