핵심 개념
대화 참여자 간 공통 기반을 구축하는 대화 행위를 대화 모델이 생성하지 못하고 있다.
초록
이 논문은 대화 참여자 간 공통 기반을 구축하는 데 필요한 대화 행위를 정의하고, 이를 바탕으로 대화 모델의 공통 기반 생성 능력을 평가합니다.
주요 내용은 다음과 같습니다:
공통 기반 구축에 필수적인 대화 행위로 '확인 질문', '인정', '후속 질문'을 정의하였습니다.
감정 지원, 설득, 교육 등 공통 기반 구축이 중요한 대화 상황에서 사람과 대화 모델의 대화 행위를 비교 분석하였습니다.
대화 모델은 사람에 비해 공통 기반 구축 행위를 훨씬 적게 사용하며, 사람과의 일치도도 매우 낮음을 확인하였습니다.
대화 모델의 공통 기반 구축 능력 부족은 현재의 지도 학습 및 선호도 최적화 방식에서 기인하는 것으로 분석되었습니다.
통계
사람의 대화에서 후속 질문은 27.87% 비율로 나타났지만, ChatGPT 3.5는 10.76%로 64.3% 감소했습니다.
사람의 대화에서 인정은 12.89% 비율로 나타났지만, ChatGPT 3.5는 1.05%로 83.4% 감소했습니다.
사람의 대화에서 확인 질문은 3.05% 비율로 나타났지만, ChatGPT 3.5는 0%로 100% 감소했습니다.