핵심 개념
대화형 AI 시스템의 투명성을 높이기 위해 사용자 모델을 실시간으로 보여주고 제어할 수 있는 대시보드를 설계하고 사용자 연구를 통해 그 효과와 가능성을 확인했습니다.
초록
대화형 AI의 투명성 및 제어를 위한 대시보드 설계 및 사용자 연구
본 연구 논문에서는 대화형 인공지능(AI) 시스템의 투명성을 향상시키기 위한 방법으로 사용자 모델을 시각화하고 제어할 수 있는 대시보드를 설계하고, 사용자 연구를 통해 그 효과를 검증했습니다.
본 연구는 사용자 모델 정보를 제공하는 대시보드가 사용자의 대화형 AI 시스템에 대한 이해와 신뢰도에 미치는 영향을 알아보고자 하였습니다. 특히, 사용자 모델의 정확성, 대시보드 사용에 대한 사용자의 수용도, 사용자 경험 및 신뢰도에 미치는 영향을 중점적으로 살펴보았습니다.
연구진은 LLaMa2Chat-13B 모델을 기반으로 사용자의 나이, 성별, 교육 수준, 사회경제적 지위를 나타내는 내부 사용자 모델을 식별하기 위해 선형 프로브를 사용했습니다. 이를 기반으로 사용자 모델 정보를 실시간으로 보여주고 수정할 수 있는 대시보드, TalkTuner를 설계했습니다. TalkTuner는 사용자 모델 정보의 투명성을 제공하고 사용자가 직접 모델을 수정하여 시스템의 동작을 제어할 수 있도록 설계되었습니다.
사용자 연구는 19명의 참가자를 대상으로 TalkTuner를 이용하여 세 가지 시나리오 기반 과제를 수행하는 방식으로 진행되었습니다. 각 참가자는 TalkTuner의 세 가지 버전 (UI-1: 기본 챗봇 인터페이스, UI-2: 사용자 모델 정보 제공 대시보드, UI-3: 사용자 모델 정보 제공 및 수정 기능 포함 대시보드)을 모두 경험했습니다. 연구진은 사용자 모델의 정확성을 평가하고, 설문조사 및 인터뷰를 통해 사용자의 대시보드 사용 경험, 선호도, 시스템에 대한 신뢰도 변화 등을 측정했습니다.