Core Concepts
스크립트 학습에서 사람들의 상황적 선택으로 인해 발생하는 잠재적 분기를 모델링하는 것이 중요하며, 이를 위해 Choice-75 데이터셋을 제안한다.
Abstract
이 논문은 스크립트 학습에서 발생하는 의사 결정 분기를 다룹니다. 기존 연구는 주로 선형적인 이벤트 시퀀스만을 고려했지만, 실제로는 사람들의 상황적 선택으로 인해 다양한 분기가 발생합니다.
이를 위해 저자들은 Choice-75라는 새로운 벤치마크 데이터셋을 제안했습니다. 이 데이터셋은 75개의 스크립트와 600개 이상의 시나리오를 포함하며, 각 시나리오에 대해 두 가지 선택지와 최적의 선택이 제공됩니다. 시나리오는 난이도 수준(쉬움, 보통, 어려움, 무관)에 따라 구분되어 있습니다.
저자들은 현재 대형 언어 모델(LLM)의 성능을 평가했으며, 전반적으로 양호한 성과를 보였지만 어려운 시나리오에서는 여전히 개선의 여지가 있음을 확인했습니다. 이 데이터셋은 AI 기반 의사 결정 능력 향상을 위한 연구에 활용될 수 있을 것으로 기대됩니다.
Stats
사람들의 상황적 선택으로 인해 발생하는 스크립트 분기를 모델링하는 것이 중요하다.
Choice-75 데이터셋은 75개의 스크립트와 600개 이상의 시나리오를 포함한다.
각 시나리오에는 두 가지 선택지와 최적의 선택이 제공된다.
시나리오는 난이도 수준(쉬움, 보통, 어려움, 무관)에 따라 구분된다.
현재 대형 언어 모델(LLM)은 전반적으로 양호한 성과를 보였지만 어려운 시나리오에서는 여전히 개선의 여지가 있다.