이 논문은 PSPEM(Prefix Soft-Prompt Editing Method)이라는 새로운 방법을 소개한다. PSPEM은 프롬프트에서 핵심 정보를 추출하고 모델 출력을 프롬프트 정보와 일치시키는 방식으로 언어 모델의 지식을 효율적으로 편집할 수 있다.
주요 내용은 다음과 같다:
PSPEM은 프롬프트 인코딩 및 인코딩 변환기를 사용하여 프롬프트의 핵심 정보를 정제하고, 프롬프트 정렬 기술을 활용하여 모델 생성을 안내한다. 이를 통해 텍스트의 일관성과 의도한 구조 및 내용을 유지하면서 효율성과 정확성의 최적 균형을 달성한다.
PSPEM은 지식 편집 및 속성 삽입 작업에서 우수한 성능을 보였다. COUNTERFACT 데이터셋에서 PSPEM은 약 100%의 편집 정확도를 달성했으며, 가장 높은 수준의 유창성을 보였다.
PSPEM과 원래 프롬프트 간의 유사성을 분석한 결과, PSPEM이 원래 프롬프트의 영향을 효과적으로 모방할 수 있음을 확인했다. 따라서 PSPEM은 원래 프롬프트의 대안이 될 수 있으며, 모델의 효과적인 편집을 지원할 수 있다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Yuchen Cai,D... lúc arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14381.pdfYêu cầu sâu hơn