이 논문은 대규모 언어 모델(LLM)을 활용하여 문서와 질의에 대한 밀집 및 희소 표현을 생성하는 PromptReps 방법을 제안한다. 기존 연구에서는 LLM을 문서 재순위화 또는 밀집 표현 생성을 위해 사용했지만, 이는 각각 소수의 후보 문서만 다룰 수 있거나 많은 학습 데이터가 필요했다.
PromptReps는 LLM에 특정 프롬프트를 제공하여 문서와 질의에 대한 밀집 및 희소 표현을 동시에 생성한다. 밀집 표현은 LLM의 마지막 레이어 은닉 상태를, 희소 표현은 다음 토큰 예측 로짓을 활용한다. 이렇게 생성된 표현을 사용하여 밀집 및 희소 검색 인덱스를 구축하고, 최종 순위는 두 검색 결과의 선형 보간으로 계산한다.
실험 결과, PromptReps는 별도의 학습 없이도 기존 LLM 기반 임베딩 방법을 능가하는 성능을 보였다. 특히 대규모 LLM을 사용할수록 성능이 향상되었다. 이는 프롬프트 엔지니어링만으로도 LLM이 강력한 문서 표현을 생성할 수 있음을 보여준다.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問