Core Concepts
AI 보조 시스템은 인간과 자연어로 협업하여 복잡한 의사결정을 내리는 것을 돕는다.
Abstract
이 논문은 의사결정 지원 대화라는 새로운 과제를 소개한다. 이 과제에서 AI 보조 시스템(예: 대규모 언어 모델)은 인간과 자연어로 협업하여 복잡한 의사결정을 내리는 것을 돕는다. 저자들은 세 가지 일상적인 의사결정 도메인을 정의했다: (1) 학회 논문에 리뷰어 배정하기, (2) 도시 여행 일정 계획하기, (3) 친구들과 여행 계획 협상하기. 각 과제에서 AI 보조 시스템과 사용자는 서로 다른 능력을 가지고 있어 협업을 통해 최선의 결정을 내려야 한다. AI 보조 시스템은 방대한 정보를 처리할 수 있지만, 사용자는 시스템 외부의 선호도와 제약 조건을 가지고 있다. 저자들은 이러한 과제에 대한 대화 환경을 구축하고, GPT-3 모델의 성능을 평가했다. 그 결과, GPT-3은 인간 보조 시스템에 비해 낮은 점수를 받았고 더 긴 대화를 나누었다. 이를 통해 현재 언어 모델이 목표 지향적 행동, 추론, 최적화 등의 측면에서 어려움을 겪는다는 것을 확인했다. 저자들은 이 과제를 향후 연구를 위한 테스트베드로 공개했다.
Stats
인간-인간 대화는 평균 13개의 메시지와 8분의 시간이 소요되었다.
GPT-3 모델은 인간 보조 시스템에 비해 낮은 점수를 받았고 더 긴 대화를 나누었다.
모델의 자기 대화에서는 점수가 더 낮고 대화가 더 길었다.
Quotes
"AI 보조 시스템은 방대한 정보를 처리할 수 있지만, 사용자는 시스템 외부의 선호도와 제약 조건을 가지고 있다."
"현재 언어 모델은 목표 지향적 행동, 추론, 최적화 등의 측면에서 어려움을 겪는다."