Основные понятия
생성형 정보 검색 시스템의 효과성을 평가하기 위한 새로운 방법론을 제안한다. 이를 위해 사용자 모델을 정의하고, 평가 목표와 측정 지표를 개발한다.
Аннотация
이 논문은 생성형 정보 검색 시스템의 평가 방법론을 제안한다.
먼저 생성형 정보 검색의 개념과 두 가지 주요 접근법(retrieval-then-generation, generation-then-retrieval)을 소개한다. 이를 통해 생성형 정보 검색이 기존 정보 검색 시스템과 구별되는 새로운 검색 과제(synthetic search task)를 지원한다는 점을 설명한다.
다음으로 사용자 정보 검색 과정을 분석하여, 생성형 정보 검색 시스템이 다루는 단계(선택, 상호작용, 종합)를 도출한다. 이에 따라 평가 목표를 검색, 근거 제시, 표현의 세 가지로 정의한다.
이어서 제안된 평가 목표에 부합하는 사용자 모델을 개발한다. 이 모델은 유틸리티 모델, 읽기 모델, 누적 모델로 구성된다. 유틸리티 모델은 진술문 수준과 응답 수준의 다양한 유틸리티 차원(일관성, 포괄성, 정확성, 명확성 등)을 정의한다. 읽기 모델은 사용자의 순차적 읽기 행동과 주의 감소, 만족 수준에 따른 조기 중단을 모델링한다. 누적 모델은 개별 진술문의 유틸리티를 전체 응답의 효과성으로 종합한다.
마지막으로 제안된 사용자 모델을 기반으로 생성형 정보 검색 시스템 평가를 위한 구체적인 절차를 제시한다. 이는 실험 설정, 진술문 분할, 유틸리티 평가, 효과성 측정 등의 단계로 구성된다.
Статистика
생성형 정보 검색 시스템은 기존 문서 랭킹 방식을 대체하여 생성된 텍스트로 응답을 제공한다.
생성형 정보 검색의 두 가지 주요 접근법은 retrieval-then-generation과 generation-then-retrieval이다.
생성형 정보 검색은 기존 정보 검색 시스템이 지원하지 않던 종합적 검색 과제(synthetic search task)를 지원한다.
제안된 사용자 모델은 유틸리티 모델, 읽기 모델, 누적 모델로 구성된다.
유틸리티 모델은 진술문 수준과 응답 수준의 다양한 유틸리티 차원(일관성, 포괄성, 정확성, 명확성 등)을 정의한다.
Цитаты
"생성형 정보 검색 시스템은 기존 문서 랭킹 방식을 대체하여 생성된 텍스트로 응답을 제공한다."
"생성형 정보 검색은 기존 정보 검색 시스템이 지원하지 않던 종합적 검색 과제(synthetic search task)를 지원한다."
"제안된 사용자 모델은 유틸리티 모델, 읽기 모델, 누적 모델로 구성된다."