인간 중심 설명 가능한 AI 인터페이스의 설계와 평가에 대한 체계적 조사

Core Concepts

사용자의 요구사항을 이해하고 이를 바탕으로 설명 가능한 AI 인터페이스를 설계하며, 사용자 평가를 통해 개선하는 것이 중요하다.

Abstract

이 논문은 53개의 출판물을 체계적으로 조사하여 현재 인간-XAI 상호작용의 동향과 설명 가능한 인터페이스(EI) 설계 및 개발을 위한 유망한 방향을 파악하고자 한다.
주요 내용은 다음과 같다:

사용자 참여 단계:

대부분의 연구(84.9%)에서 사용자를 평가에 참여시켰지만, 사용자 요구사항 분석 단계에는 28.3%만 참여시켰다.
사용자 요구사항 분석과 평가를 모두 수행한 연구는 17%에 불과했다.

EI 설계:

시각적 계층 구조: 다중 인스턴스(30.2%), 전체 개요(11.3%), 초점 포인트(11.3%) 등이 주요 요구사항이었다.
필수 기능: 대화형 인터페이스(37.7%), 자연어 사용(30.2%), 적응형 디스플레이(17.0%) 등이 주요 요구사항이었다.
정보 구조: 순차적(47.8%), 매트릭스(17.4%), 계층적(8.7%) 등의 구조를 사용했다.
상호작용 유형: 지시(37.7%), 탐색(17.4%), 조작(8.7%) 등의 유형을 사용했다.

EI 평가:

주요 평가 지표: 시스템 효과성(37.7%), 사용자 과업 수행 능력(26.4%), 사용자 이해도(34.0%) 등이었다.
평가 유형: 시스템 특성(60.4%), 사용자 인지 능력(35.8%), 사용자 행동 능력(30.2%) 등을 평가했다.
전반적으로 사용자 요구사항 분석과 평가를 통합적으로 수행하는 연구가 부족하며, 사용자 중심 설계 프로세스가 필요하다. 또한 EI 설계와 평가에 대한 체계적인 접근이 필요하다.

Stats

"사용자의 80% 이상이 XAI 설명을 충분히 이해하지 못했다."
"사용자 요구사항 분석과 평가를 모두 수행한 연구는 전체의 17%에 불과했다."

Quotes

"사용자 요구사항 분석은 전체 연구의 28.3%에서만 수행되었다."
"다중 인스턴스(30.2%)와 전체 개요(11.3%)가 주요 시각적 계층 구조 요구사항이었다."
"대화형 인터페이스(37.7%)와 자연어 사용(30.2%)이 주요 필수 기능 요구사항이었다."

Key Insights Distilled From

How Human-Centered Explainable AI Interface Are Designed and Evaluated

by Thu Nguyen,A... at arxiv.org 03-22-2024

https://arxiv.org/pdf/2403.14496.pdf

Deeper Inquiries

사용자 요구사항 분석과 평가를 통합적으로 수행하는 연구가 부족한 이유는 무엇일까?

사용자 요구사항 분석과 평가를 통합적으로 수행하는 연구가 부족한 이유는 몇 가지 요인으로 설명할 수 있습니다. 첫째, XAI 시스템은 기술적으로 복잡하고 사용자 요구사항을 정량화하거나 측정하기 어려울 수 있습니다. 사용자 요구사항은 주관적이고 다양한 사용자 그룹에 따라 다를 수 있기 때문에 표준화된 방법론을 적용하기 어려울 수 있습니다. 둘째, 사용자 요구사항을 분석하고 적합한 평가 지표를 개발하는 것은 시간과 비용이 많이 소요되는 작업일 수 있습니다. 연구자들은 종종 기술적 측면에 더 집중하고 사용자 요구사항을 고려하는 것을 뒷전으로 미룰 수 있습니다. 마지막으로, 사용자 요구사항을 분석하고 평가하는 것은 다양한 전문 지식과 기술이 필요한 작업이기 때문에 이를 통합적으로 수행하는 것이 어려울 수 있습니다.

XAI 시스템의 설명 품질을 높이기 위해서는 어떤 기술적 접근이 필요할까?

XAI 시스템의 설명 품질을 높이기 위해서는 몇 가지 기술적 접근이 필요합니다. 첫째, 설명 가능한 AI 모델을 사용하여 블랙박스 모델의 작동 방식을 설명할 수 있도록 해야 합니다. 이를 통해 사용자들이 모델의 의사 결정을 이해하고 신뢰할 수 있게 됩니다. 둘째, 자연어 처리 기술을 활용하여 기계 학습 모델의 예측을 인간이 이해할 수 있는 용어로 변환해야 합니다. 이를 통해 사용자들이 모델의 작동 방식을 쉽게 이해할 수 있습니다. 마지막으로, 상호작용적이고 직관적인 사용자 인터페이스를 디자인하여 사용자들이 모델의 설명을 쉽게 탐색하고 이해할 수 있도록 해야 합니다.

설명 가능한 AI 인터페이스 설계에 있어서 사용자 경험 디자인의 역할은 무엇일까?

설명 가능한 AI 인터페이스의 설계에서 사용자 경험 디자인은 매우 중요한 역할을 합니다. 사용자 경험 디자인은 사용자들이 AI 모델의 설명을 쉽게 이해하고 상호작용할 수 있도록 돕는 데 중요합니다. 사용자 경험 디자인은 사용자들의 요구사항을 이해하고 이를 바탕으로 직관적이고 효과적인 인터페이스를 디자인하는 것을 포함합니다. 또한, 사용자 경험 디자인은 사용자들이 모델의 설명을 쉽게 찾고 이해할 수 있도록 정보를 구조화하고 시각화하는 데 도움을 줍니다. 따라서 사용자 경험 디자인은 설명 가능한 AI 인터페이스의 효과적인 전달과 사용자들의 만족도 향상에 중요한 역할을 합니다.