이 연구는 대형 언어 모델(LLM)의 인물 중심 의사 결정 능력을 평가하기 위해 NEXTDECISIONPREDICTION 과제를 제안했다. 이를 위해 395권의 소설에서 1,401개의 인물 의사 결정 데이터를 수집한 LIFECHOICE 데이터셋을 구축했다.
실험 결과, 최신 LLM은 이 과제에서 상당한 능력을 보였지만, 여전히 개선의 여지가 있음을 확인했다. 이에 따라 CHARMAP 방법을 제안했는데, 이는 현재 상황에 더 부합하는 인물 프로필을 구축하여 6.01% 높은 정확도를 달성했다.
연구팀은 인물의 성격, 감정, 사회적 관계, 가치관 및 신념, 욕구와 목표 등 다양한 요인이 인물의 의사 결정에 영향을 미침을 분석했다. 또한 소설 장르에 따라 LLM의 성능이 달라짐을 확인했다.
이 연구는 LLM의 인물 중심 의사 결정 능력을 평가하고 향상시키는 데 기여할 것으로 기대된다. 나아가 이는 역할 수행 모델 평가, 개인 AI 비서 구축 등 다양한 응용 분야에 활용될 수 있다.
To Another Language
from source content
arxiv.org
Дополнительные вопросы