대용량 언어 모델을 활용한 텍스트 기반 순차적 추천

Core Concepts

대용량 언어 모델을 활용하여 사용자의 텍스트 기반 행동 데이터를 요약하고, 이를 바탕으로 추천 모델을 구축하는 방법을 제안한다.

Abstract

이 논문은 대용량 언어 모델(LLM)을 활용하여 텍스트 기반 순차적 추천 문제를 해결하는 방법을 제안한다.
먼저 사용자의 과거 행동 데이터를 텍스트 형태로 변환하고, 이를 여러 블록으로 분할한다. 그 후 LLM 기반 요약기를 활용하여 각 블록의 요약을 생성하고, 이를 종합하여 사용자 선호도 요약을 도출한다.
이 사용자 선호도 요약, 최근 사용자 행동, 추천 대상 아이템 정보를 LLM 기반 추천 모델의 입력으로 사용하여 추천 결과를 생성한다.
이 과정에서 계층적 요약과 순환 요약이라는 두 가지 독특한 요약 기법을 제안한다.
또한 Supervised Fine-Tuning(SFT) 및 Low-Rank Adaptation(LoRA)을 활용하여 추천 모델을 효율적으로 학습한다.
실험 결과, 제안 방법이 다양한 기존 방법들을 뛰어넘는 성능을 보였다.

Stats

사용자 행동 데이터 길이가 길수록 LLM 모델의 계산 자원 소모가 크게 증가한다.
사용자의 최근 행동 정보를 3개까지 활용하는 것이 가장 좋은 성능을 보였다.

Quotes

"Recent advances in Large Language Models (LLMs) have been changing the paradigm of Recommender Systems (RS)."
"To this end, in this paper, we design a novel framework for harnessing Large Language Models for Text-Rich Sequential Recommendation (LLM-TRSR)."
"Specifically, we first propose to segment the user historical behaviors and subsequently employ an LLM-based summarizer for summarizing these user behavior blocks."

Key Insights Distilled From

Harnessing Large Language Models for Text-Rich Sequential Recommendation

by Zhi Zheng,We... at arxiv.org 03-21-2024

https://arxiv.org/pdf/2403.13325.pdf

Deeper Inquiries

질문 1

사용자의 장기적인 선호도와 단기적인 관심사를 효과적으로 결합하여 추천 성능을 높이기 위해서는 다음과 같은 방법들을 고려할 수 있습니다:

Prompt Text 설계: 사용자의 장기적인 선호도를 요약하는 부분과 최근 사용자 행동을 반영하는 부분을 명확하게 포함하는 Prompt Text를 설계합니다. 이를 통해 모델에 사용자의 전반적인 관심사를 제공하고 최신 동향을 반영할 수 있습니다.
LLM Fine-Tuning: Large Language Models를 사용하여 사용자의 선호도를 요약하는 모델을 Fine-Tuning하여 사용자의 장기적인 관심사를 더 잘 파악하도록 합니다.
추천 모델 학습: LLM 기반 추천 모델을 사용하여 Prompt Text를 입력으로 받아 사용자에게 맞는 아이템을 추천합니다. 이때, 사용자의 장기적인 선호도와 최근 관심사를 ganzlich 고려하여 추천을 수행합니다.

질문 2

LLM 기반 요약기의 성능을 향상시키기 위해 다음과 같은 추가적인 기법들을 활용할 수 있습니다:

Prompt Text 다양화: 다양한 Prompt Text를 활용하여 LLM 모델이 다양한 유형의 사용자 선호도를 파악하고 요약할 수 있도록 합니다.
Prompt Text 조정: Prompt Text의 구조와 내용을 조정하여 LLM 모델이 더 정확하고 포괄적으로 사용자의 선호도를 요약할 수 있도록 합니다.
다중 요약기 결합: 여러 개의 LLM 요약기를 결합하여 다양한 관점에서 사용자의 선호도를 종합적으로 파악하고 요약할 수 있도록 합니다.

질문 3

이 연구에서 제안한 방법론은 다른 분야의 텍스트 기반 추천 문제에도 적용할 수 있습니다. 예를 들어, 영화나 음악 추천 시스템에서도 사용자의 장기적인 관심사와 단기적인 선호도를 효과적으로 결합하여 추천을 개선할 수 있습니다. 또한, 뉴스나 소셜 미디어 플랫폼에서 사용자의 관심사를 파악하고 다양한 콘텐츠를 추천하는 데에도 적용할 수 있습니다. 이를 통해 다양한 분야에서 텍스트 기반 추천 시스템의 성능을 향상시킬 수 있습니다.