핵심 개념
검색 엔진에 의존하지 않고도 쿼리 기반 facet을 효과적으로 생성할 수 있는 방법을 제안한다. 다중 작업 학습과 LLM 편집 기법을 통해 쿼리만으로도 우수한 facet 생성 성능을 달성할 수 있다.
초록
이 연구는 검색 엔진에 의존하지 않고도 쿼리 기반 facet을 효과적으로 생성하는 방법을 제안한다. 기존 연구들은 검색 엔진 결과 페이지(SERP)를 활용하여 facet 생성 성능을 향상시켰지만, 이는 검색 엔진 업데이트에 따른 성능 저하 문제와 내부 문서 활용의 어려움이 있었다.
제안 방법은 다음 두 가지 전략을 사용한다:
- 다중 작업 학습: 쿼리 외에 SERP 생성, 관련 쿼리 생성 등의 부가 작업을 학습하여 쿼리에 대한 이해도를 높인다.
- LLM 편집: 소규모 모델이 생성한 facet을 LLM이 편집하여 정확도를 높인다. LLM은 소규모 모델이 학습한 데이터 분포 정보를 활용하여 보다 적합한 facet을 생성할 수 있다.
실험 결과, 제안 방법은 기존 SERP 활용 모델들과 유사한 수준의 자동 평가 성능을 보였으며, LLM 기반 평가에서도 우수한 성능을 달성했다. 또한 LLM 편집 기법은 이전 모델들에도 효과적으로 적용될 수 있음을 확인했다.
통계
쿼리 기반 facet 생성 모델의 성능은 학습 및 테스트 입력 구성에 따라 크게 달라진다.
학습 시 SERP를 사용하고 테스트 시 SERP를 사용하지 않으면 성능이 크게 저하된다.
인용구
"검색 엔진은 지속적으로 업데이트되므로, 학습과 테스트 사이에 추가 정보가 변경될 수 있어 성능이 저하될 수 있다."
"공개 검색 엔진으로는 내부 문서를 검색할 수 없으므로, 별도의 검색 시스템을 구축해야 한다."