대규모 언어 모델(LLM)의 컨텍스트 창 내부에서 작동하는 메커니즘을 분석한 결과, 초기 토큰의 위치 정보가 이후 토큰의 위치 벡터 형성에 중요한 역할을 하며, 컨텍스트 창 확장은 위치 벡터의 보간을 통해 이루어진다는 것을 발견했습니다. 이를 기반으로 위치 벡터 교체 및 어텐션 윈도우 확장이라는 두 가지 훈련 없는 컨텍스트 창 확장 방법을 제안합니다.
