이 연구는 질문 답변 모델의 중간 설명 형식이 사용자 피드백을 통해 수정되는 정도와 사용자가 모델 출력을 이해하고 신뢰하는 정도에 미치는 영향을 분석한다.
주요 내용은 다음과 같다:
다양한 설명 형식(마크업 및 마스킹, 주석 보고서, 절차적, 하위 질문, 의사 결정 트리)을 고려하였다. 이 형식들은 귀속, 추론 깊이, 순차적 추론, 주석 등의 특성에서 차이가 있다.
사용자 피드백을 통해 설명을 수정하는 효과를 측정한 결과, 추론 과정을 더 잘 드러내는 설명 형식일수록 수정이 용이했다. 특히 의료 분야 질문에서는 자유 텍스트 요소가 더 많은 설명 형식이 효과적이었다.
사용자 인식 평가에서는 귀속과 추론 깊이가 높은 설명 형식(주석 보고서, 절차적)이 이해도와 신뢰도 면에서 가장 좋은 평가를 받았다.
사용자들은 설명의 귀속과 추론 깊이를 가장 중요한 특성으로 평가했다.
이 연구 결과는 질문 답변 시스템 개발 시 중간 설명 형식을 선택하는 데 도움이 될 것이다.
翻譯成其他語言
從原文內容
arxiv.org
深入探究