Core Concepts
대화형 추천 시스템(CRS)에서 대형 언어 모델(LLM)의 성능을 향상시키기 위해 외부 지식과 목표 안내를 통합하는 것이 필요하다.
Abstract
이 논문은 대형 언어 모델(LLM)을 기반으로 한 대화형 추천 시스템(CRS)의 성능을 향상시키기 위해 외부 지식과 목표 안내를 통합하는 방법을 제안한다.
실험적 분석을 통해 LLM 단독으로는 도메인 특화 CRS 작업에 한계가 있음을 확인했다. 외부 지식과 목표 안내가 추천 정확도와 언어 품질을 크게 향상시킨다.
이를 바탕으로 ChatCRS 프레임워크를 제안했다. 이는 지식 검색 에이전트와 목표 계획 에이전트를 활용하여 LLM 기반 대화 에이전트의 성능을 향상시킨다.
실험 결과, ChatCRS는 기존 SOTA 모델을 능가하는 성능을 보였다. 특히 추천 정확도가 10배 이상 향상되었고, 대화 품질 측면에서도 정보성과 주도성이 크게 개선되었다.
사례 연구를 통해 외부 지식과 목표 안내가 LLM 기반 CRS의 핵심 요소임을 확인했다. 이는 LLM의 내부 지식과 목표 설정 능력의 한계를 보완하고, 대화 흐름을 효과적으로 관리할 수 있게 한다.
Stats
대화형 추천 시스템에서 외부 지식을 활용하면 추천 정확도가 10배 이상 향상된다.
외부 지식과 목표 안내를 통합하면 대화 품질의 정보성과 주도성이 각각 17%, 27% 향상된다.
Quotes
"LLMs 단독으로는 도메인 특화 CRS 작업에 한계가 있으며, 외부 입력이 필수적이다."
"외부 지식과 목표 안내를 통합하면 LLM 기반 CRS의 성능을 크게 향상시킬 수 있다."