이 논문은 SPLADE 모델의 효율성을 높이기 위한 새로운 접근법을 제안한다. SPLADE는 기존 정보 검색 인프라와 사전 훈련된 언어 모델의 장점을 결합한 모델이지만, 기존 검색 알고리즘과의 불일치로 인해 효율성 문제가 있었다.
저자들은 SPLADE 검색을 두 단계로 나누는 방법을 제안한다. 첫 번째 단계에서는 SPLADE 벡터를 더 희소하게 만들고 가중치를 재조정하여 효율성을 높인다. 이를 통해 기존 검색 알고리즘을 더 잘 활용할 수 있다. 두 번째 단계에서는 첫 번째 단계에서 선별된 상위 k개 문서를 원본 SPLADE 벡터를 사용하여 다시 점수화한다.
저자들은 30개의 다양한 데이터셋에 대해 실험을 수행했으며, 이 방법이 기존 SPLADE 대비 평균 및 최대 응답 시간을 최대 40배 단축할 수 있음을 보였다. 또한 대부분의 데이터셋에서 통계적으로 유의미한 성능 저하 없이 이를 달성할 수 있었다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문