Core Concepts
Gecko는 대형 언어 모델의 방대한 지식을 활용하여 효율적이고 다재다능한 텍스트 임베딩 모델을 제시한다.
Abstract
이 논문은 Gecko라는 다목적 텍스트 임베딩 모델을 소개한다. Gecko는 대형 언어 모델(LLM)의 지식을 활용하여 강력한 검색 성능을 달성한다. 이를 위해 두 단계의 지식 증류 과정을 거친다.
첫째, LLM을 활용하여 다양한 합성 쌍 데이터를 생성한다. 둘째, 후보 문단을 검색하고 LLM을 사용하여 긍정 및 부정 문단을 재라벨링한다. 이러한 접근법의 효과는 Gecko의 간결성에서 입증된다. MTEB 벤치마크에서 Gecko는 768차원 임베딩으로 기존 모델들을 능가한다. 또한 768차원 Gecko는 7배 더 큰 모델과 5배 더 높은 차원의 임베딩과 경쟁할 수 있는 성능을 보인다.
Stats
Gecko는 1.2B 개의 매개변수를 가진다.
Gecko-1b-768은 MTEB 벤치마크에서 평균 66.31의 점수를 달성한다.
Gecko-1b-256은 768차원 임베딩 모델보다 작은 256차원 임베딩으로도 우수한 성능을 보인다.
Quotes
"Gecko는 대형 언어 모델의 방대한 지식을 활용하여 효율적이고 다재다능한 텍스트 임베딩 모델을 제시한다."
"Gecko는 MTEB 벤치마크에서 768차원 임베딩으로 기존 모델들을 능가한다."
"Gecko-1b-768은 7배 더 큰 모델과 5배 더 높은 차원의 임베딩과 경쟁할 수 있는 성능을 보인다."