인간 중심 설명 가능한 AI 인터페이스의 설계와 평가에 대한 체계적 조사

Concepts de base

인간 참여를 통해 설명 가능한 AI 시스템의 사용성, 실용적 해석 가능성, 효과성을 높이기 위한 현재 동향과 유망한 방향을 파악한다.

Résumé

이 논문은 53개의 출판물에 대한 체계적 조사를 통해 인간-XAI 상호작용의 현재 동향과 EI 설계 및 개발을 위한 유망한 방향을 파악하고자 한다.

주요 내용은 다음과 같다:

1. 인간 참여자들이 XAI 애플리케이션의 설계 및 개발 과정에 어떻게 참여하는지 분석했다. 대부분의 연구(84.9%)에서 인간 참여자들이 시스템 평가에 참여했지만, 사용자 요구사항 분석 단계에는 28.3%만 참여했다. 참여자 그룹으로는 도메인 전문가(46.7%), ML/AI 전문가(33.3%), UI/UX 전문가(6.7%), 일반 사용자(20%)가 있었다.

2. EI 설계 방식을 분석했다. 설계 요구사항으로는 시각적 계층 구조(다중 인스턴스 30.2%, 전체 개요 11.3% 등)와 필수 기능(대화형 17.4%, 인간 언어 13.2% 등)이 도출되었다. 최종 EI 설계에서는 순차적 구조(47.8%), 정적 상호작용(17.4%), 지시형 상호작용(37.7%)이 주로 사용되었다.

3. EI 평가 방식을 분석했다. 주요 평가 지표로는 시스템 효과성(37.7%), 사용자 과업 수행 능력(26.4%), 사용자 이해도(34%) 등이 있었다. 대부분의 연구(84.9%)에서 전체 시스템을 평가했으며, EI만의 평가는 1건에 불과했다.

Stats

대부분의 XAI 연구(84.9%)에서 인간 참여자들이 시스템 평가에 참여했다.
인간 참여자들이 사용자 요구사항 분석 단계에 참여한 비율은 28.3%에 불과했다.
도메인 전문가(46.7%), ML/AI 전문가(33.3%), UI/UX 전문가(6.7%), 일반 사용자(20%)가 참여했다.
최종 EI 설계에서 순차적 구조(47.8%), 정적 상호작용(17.4%), 지시형 상호작용(37.7%)이 주로 사용되었다.
주요 평가 지표로는 시스템 효과성(37.7%), 사용자 과업 수행 능력(26.4%), 사용자 이해도(34%) 등이 있었다.
대부분의 연구(84.9%)에서 전체 시스템을 평가했으며, EI만의 평가는 1건에 불과했다.

Citations

"대부분의 XAI 연구(84.9%)에서 인간 참여자들이 시스템 평가에 참여했다."
"인간 참여자들이 사용자 요구사항 분석 단계에 참여한 비율은 28.3%에 불과했다."
"최종 EI 설계에서 순차적 구조(47.8%), 정적 상호작용(17.4%), 지시형 상호작용(37.7%)이 주로 사용되었다."

Idées clés tirées de

How Human-Centered Explainable AI Interface Are Designed and Evaluated

by Thu Nguyen,A... à arxiv.org 03-22-2024

https://arxiv.org/pdf/2403.14496.pdf

Questions plus approfondies

질문 1

분석 단계에서 인간 참여자들의 참여를 높이기 위한 방안으로는 다음과 같은 전략을 고려할 수 있습니다:

다양한 참여자 그룹 포함: 분석 활동에 참여하는 참여자 그룹을 다양화하여 다양한 관점과 요구사항을 수집합니다. 이는 도메인 전문가, ML/AI 전문가, UI/UX 전문가, 일반 참여자 등을 포함하는 것을 의미합니다.
참여자 요구사항 명확화: 참여자들의 요구사항을 명확히 정의하고 문제점을 파악하여 설계에 반영합니다. 이를 통해 설계된 시스템이 사용자들의 실제 요구에 부합하도록 합니다.
참여자들의 인식 과정 이해: 인간 참여자들이 시스템을 어떻게 이해하고 해석하는지에 대한 인식을 파악하여 설계에 반영합니다. 이는 설계된 시스템이 사용자들에게 효과적으로 전달되도록 돕습니다.
사용자 중심 설계: 사용자 중심 설계 원칙을 준수하여 사용자들의 요구사항을 중심으로 설계를 진행합니다. 이를 통해 사용자들이 시스템을 보다 쉽게 이해하고 활용할 수 있도록 합니다.

질문 2

대화형 상호작용이나 동적 상호작용을 적용하는 것은 사용자 경험에 다음과 같은 영향을 미칠 수 있습니다:

사용자 참여 증대: 대화형 상호작용 및 동적 상호작용은 사용자들이 시스템에 더 많이 참여하고 상호작용할 수 있도록 돕습니다. 이는 사용자들이 시스템을 더 적극적으로 활용할 수 있게 합니다.
사용자 이해도 향상: 대화형 상호작용을 통해 사용자들이 시스템의 작동 방식을 더 잘 이해할 수 있습니다. 사용자들이 시스템과 소통하면서 직접적인 피드백을 받을 수 있어 이해도가 향상됩니다.
사용자 만족도 향상: 동적 상호작용은 사용자들이 시스템을 더 즐겁게 사용할 수 있도록 돕습니다. 사용자들이 시스템과 상호작용하면서 새로운 경험을 할 수 있어 만족도가 향상됩니다.

질문 3

EI 자체에 대한 평가 방식을 개발하여 XAI 시스템의 사용성과 효과성을 더욱 향상시키기 위한 방법은 다음과 같습니다:

사용자 피드백 수집: EI를 사용하는 사용자들로부터 피드백을 직접 수집하여 시스템의 강점과 개선점을 파악합니다.
사용자 테스트: 사용자들을 대상으로 EI를 테스트하여 사용자들이 시스템을 어떻게 이해하고 활용하는지를 평가합니다.
비교 연구: 다양한 EI 디자인을 비교하여 어떤 디자인이 사용자들에게 더 효과적인지를 확인합니다.
효과성 지표 도입: EI의 효과성을 측정하기 위한 지표를 도입하여 사용자들의 경험을 정량적으로 평가합니다.
지속적인 개선: 수집된 평가 결과를 바탕으로 EI를 지속적으로 개선하고 사용자들의 요구에 맞게 최적화합니다.