이 논문은 메모리 제한 환경에서 LLM이 긴 입력 문맥을 효과적으로 처리할 수 있도록 하는 InfiniPot이라는 새로운 기술을 소개한다.
InfiniPot은 다음과 같은 핵심 구성요소를 가지고 있다:
Continual Context Distillation (CCD): 고정된 메모리 제약 내에서 핵심 정보를 유지하며 긴 문맥을 효율적으로 압축하는 반복적인 프로세스.
Catalyst Prompt (CaP): 미래 문맥의 중요도를 효과적으로 근사하기 위해 설계된 휘발성 프롬프트.
Novelty under Compression (NuC): 이전 문맥에서 새로운 정보를 식별하고 우선순위를 부여하는 새로운 중요도 지표.
이러한 기술들을 통해 InfiniPot은 사전 학습된 LLM이 고정된 메모리 제약 내에서도 광범위한 문맥을 효과적으로 처리할 수 있게 한다. 실험 결과, InfiniPot은 다양한 장문 문맥 NLP 작업에서 장문 문맥 처리에 특화된 모델들과 견줄만한 성능을 보였다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문