인간 중심 설명 가능한 AI 인터페이스의 설계와 평가에 대한 체계적 조사

Core Concepts

인간 참여를 통해 설명 가능한 AI 시스템의 사용성, 실용적 해석 가능성, 효과성을 높이기 위한 현재 동향과 유망한 방향을 파악한다.

Abstract

이 논문은 53개의 출판물에 대한 체계적 조사를 통해 인간-XAI 상호작용의 현재 동향과 EI 설계 및 개발을 위한 유망한 방향을 파악하고자 한다.

주요 내용은 다음과 같다:

1. 인간 참여자들이 XAI 애플리케이션의 설계 및 개발 과정에 어떻게 참여하는지 분석했다. 대부분의 연구(84.9%)에서 인간 참여자들이 시스템 평가에 참여했지만, 사용자 요구사항 분석 단계에는 28.3%만 참여했다. 참여자 그룹으로는 도메인 전문가(46.7%), ML/AI 전문가(33.3%), UI/UX 전문가(6.7%), 일반 사용자(20%)가 있었다.

2. EI 설계 방식을 분석했다. 설계 요구사항으로는 시각적 계층 구조(다중 인스턴스 30.2%, 전체 개요 11.3% 등)와 필수 기능(대화형 17.4%, 인간 언어 13.2% 등)이 도출되었다. 최종 EI 설계에서는 순차적 구조(47.8%), 정적 상호작용(17.4%), 지시형 상호작용(37.7%)이 주로 사용되었다.

3. EI 평가 방식을 분석했다. 주요 평가 지표로는 시스템 효과성(37.7%), 사용자 과업 수행 능력(26.4%), 사용자 이해도(34%) 등이 있었다. 대부분의 연구(84.9%)에서 전체 시스템을 평가했으며, EI만의 평가는 1건에 불과했다.

Stats

대부분의 XAI 연구(84.9%)에서 인간 참여자들이 시스템 평가에 참여했다.
인간 참여자들이 사용자 요구사항 분석 단계에 참여한 비율은 28.3%에 불과했다.
도메인 전문가(46.7%), ML/AI 전문가(33.3%), UI/UX 전문가(6.7%), 일반 사용자(20%)가 참여했다.
최종 EI 설계에서 순차적 구조(47.8%), 정적 상호작용(17.4%), 지시형 상호작용(37.7%)이 주로 사용되었다.
주요 평가 지표로는 시스템 효과성(37.7%), 사용자 과업 수행 능력(26.4%), 사용자 이해도(34%) 등이 있었다.
대부분의 연구(84.9%)에서 전체 시스템을 평가했으며, EI만의 평가는 1건에 불과했다.

Quotes

"대부분의 XAI 연구(84.9%)에서 인간 참여자들이 시스템 평가에 참여했다."
"인간 참여자들이 사용자 요구사항 분석 단계에 참여한 비율은 28.3%에 불과했다."
"최종 EI 설계에서 순차적 구조(47.8%), 정적 상호작용(17.4%), 지시형 상호작용(37.7%)이 주로 사용되었다."

Key Insights Distilled From

How Human-Centered Explainable AI Interface Are Designed and Evaluated

by Thu Nguyen,A... at arxiv.org 03-22-2024

https://arxiv.org/pdf/2403.14496.pdf

Deeper Inquiries

질문 1

분석 단계에서 인간 참여자들의 참여를 높이기 위한 방안으로는 다음과 같은 전략을 고려할 수 있습니다:

다양한 참여자 그룹 포함: 분석 활동에 참여하는 참여자 그룹을 다양화하여 다양한 관점과 요구사항을 수집합니다. 이는 도메인 전문가, ML/AI 전문가, UI/UX 전문가, 일반 참여자 등을 포함하는 것을 의미합니다.
참여자 요구사항 명확화: 참여자들의 요구사항을 명확히 정의하고 문제점을 파악하여 설계에 반영합니다. 이를 통해 설계된 시스템이 사용자들의 실제 요구에 부합하도록 합니다.
참여자들의 인식 과정 이해: 인간 참여자들이 시스템을 어떻게 이해하고 해석하는지에 대한 인식을 파악하여 설계에 반영합니다. 이는 설계된 시스템이 사용자들에게 효과적으로 전달되도록 돕습니다.
사용자 중심 설계: 사용자 중심 설계 원칙을 준수하여 사용자들의 요구사항을 중심으로 설계를 진행합니다. 이를 통해 사용자들이 시스템을 보다 쉽게 이해하고 활용할 수 있도록 합니다.

질문 2

대화형 상호작용이나 동적 상호작용을 적용하는 것은 사용자 경험에 다음과 같은 영향을 미칠 수 있습니다:

사용자 참여 증대: 대화형 상호작용 및 동적 상호작용은 사용자들이 시스템에 더 많이 참여하고 상호작용할 수 있도록 돕습니다. 이는 사용자들이 시스템을 더 적극적으로 활용할 수 있게 합니다.
사용자 이해도 향상: 대화형 상호작용을 통해 사용자들이 시스템의 작동 방식을 더 잘 이해할 수 있습니다. 사용자들이 시스템과 소통하면서 직접적인 피드백을 받을 수 있어 이해도가 향상됩니다.
사용자 만족도 향상: 동적 상호작용은 사용자들이 시스템을 더 즐겁게 사용할 수 있도록 돕습니다. 사용자들이 시스템과 상호작용하면서 새로운 경험을 할 수 있어 만족도가 향상됩니다.

질문 3

EI 자체에 대한 평가 방식을 개발하여 XAI 시스템의 사용성과 효과성을 더욱 향상시키기 위한 방법은 다음과 같습니다:

사용자 피드백 수집: EI를 사용하는 사용자들로부터 피드백을 직접 수집하여 시스템의 강점과 개선점을 파악합니다.
사용자 테스트: 사용자들을 대상으로 EI를 테스트하여 사용자들이 시스템을 어떻게 이해하고 활용하는지를 평가합니다.
비교 연구: 다양한 EI 디자인을 비교하여 어떤 디자인이 사용자들에게 더 효과적인지를 확인합니다.
효과성 지표 도입: EI의 효과성을 측정하기 위한 지표를 도입하여 사용자들의 경험을 정량적으로 평가합니다.
지속적인 개선: 수집된 평가 결과를 바탕으로 EI를 지속적으로 개선하고 사용자들의 요구에 맞게 최적화합니다.