본 연구는 대규모 언어 모델 기반 추천 시스템(RecLLM)의 공정성 평가를 위한 강력한 프레임워크를 개발하고, 인구통계학적 데이터, 사용자 선호도 기록, 최근 상호작용 등을 활용하여 정보성 있는 사용자 프로필을 생성하는 구조화된 방법을 제안한다. 이는 특히 시간 의존적 시나리오에서 이러한 시스템의 개인화를 향상시키는 데 필수적이다.
연구팀은 LastFM-1K와 ML-1M 데이터셋을 활용하여 프레임워크의 유용성을 입증한다. 80명의 사용자 샘플을 대상으로 다양한 프롬프트 구성 시나리오와 ICL 학습 스타일을 테스트하고 평가하여, 50개 이상의 시나리오에 걸쳐 4,000건 이상의 추천 결과를 생성한다. 연구 결과, 민감 속성과 관련된 시나리오에서는 중대한 공정성 문제가 없지만, 내재적 공정성 측면에서는 인구통계학적 그룹 간 불공정성이 여전히 상당한 것으로 나타났다.
إلى لغة أخرى
من محتوى المصدر
arxiv.org
الرؤى الأساسية المستخلصة من
by Yashar Deldj... في arxiv.org 05-06-2024
https://arxiv.org/pdf/2405.02219.pdfاستفسارات أعمق