이 논문은 대규모 언어 모델(LLM)의 성능과 해석 가능성을 향상시키기 위해 명시적이고 구조화된 읽기-쓰기 메모리 모듈을 통합하는 MEMLLM이라는 새로운 방법을 소개한다.
주요 내용은 다음과 같다:
LLM은 매개변수를 통한 암묵적 저장 메커니즘에 의존하므로 희귀 지식과 시간 경과에 따른 성능 저하 문제가 있다. 또한 매개변수 기반 기억은 환각을 이해하고 방지하기 어렵다.
MEMLLM은 구조화되고 명시적인 읽기-쓰기 메모리 모듈을 LLM에 통합하여 이러한 문제를 해결한다. 메모리는 관계 트리플 형식으로 저장되며, LLM은 API를 통해 메모리를 동적으로 읽고 쓸 수 있다.
메모리 쓰기 모델은 입력 텍스트에서 관계를 추출하여 메모리에 저장하고, 메모리 읽기 모델은 디코딩 중 메모리에서 관련 정보를 검색하여 활용한다.
실험 결과, MEMLLM은 전반적인 언어 모델링 성능을 향상시키고, 특히 엔티티와 관련된 텍스트에서 큰 성능 향상을 보였다. 이는 명시적 메모리를 통해 사실적이고 근거 있는 텍스트 생성이 가능해졌음을 보여준다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Ali ... lúc arxiv.org 04-19-2024
https://arxiv.org/pdf/2404.11672.pdfYêu cầu sâu hơn