Core Concepts
법률 정보 검색 시스템에서는 일반적인 순위 평가 방법을 적용하기 어려운 특성이 있다. 이는 높은 재현율 요구, 전문가 피드백 수집의 어려움, 소규모 사용자 데이터 등의 이유로 인한 것이다.
Abstract
이 연구는 법률 정보 검색 시스템의 특성과 그에 따른 순위 평가 방법의 한계를 보여준다.
법률 정보 검색 시스템의 주요 특성은 다음과 같다:
법률 전문가들은 시간 압박 하에서 작업하며, 누락된 정보에 대한 비용이 매우 높다. 따라서 높은 재현율이 중요하지만, 동시에 정확도에 대한 요구도 있다.
전문가 피드백을 수집하는 것이 비용이 많이 들어 어렵다. 대신 초보 법률 전문가나 연구 보조원의 피드백을 활용한다.
법률 정보 검색 시스템의 사용자 수가 제한적이며, 구독 모델로 인해 사용자마다 접근할 수 있는 정보가 다르다. 따라서 암묵적 피드백 데이터도 제한적이다.
최신성이 매우 중요하며, 순위 알고리즘에 큰 영향을 미치므로 순위 변화가 빈번하다.
이러한 특성으로 인해 일반적인 순위 평가 방법인 테스트 컬렉션, 암묵적 피드백 기반 테스트 컬렉션, 사용자 설문조사, A/B 테스트 등이 법률 정보 검색 시스템에 적합하지 않다는 것을 보여준다. 향후 연구에서는 비용 기반 평가 모델과 같은 대안적인 평가 방법을 탐색할 것이다.
Stats
"법률 전문가들은 시간 압박 하에서 작업하며, 누락된 정보에 대한 비용이 매우 높다."
"전문가 피드백을 수집하는 것이 비용이 많이 들어 어렵다."
"법률 정보 검색 시스템의 사용자 수가 제한적이며, 구독 모델로 인해 사용자마다 접근할 수 있는 정보가 다르다."
"최신성이 매우 중요하며, 순위 알고리즘에 큰 영향을 미치므로 순위 변화가 빈번하다."