Core Concepts
신경망 출력에 대한 설명 방법의 불확실성을 측정하고 정량화하는 방법을 제안한다.
Abstract
이 논문에서는 신경망 출력에 대한 설명의 불확실성을 정량화하는 파이프라인을 제안한다. 이를 위해 불확실성 추정 방법과 설명 방법을 결합하여 사용한다.
먼저 불확실성 추정 방법을 사용하여 신경망을 학습시킨다. 이를 통해 입력에 대한 출력 분포를 얻을 수 있다. 다음으로 이 출력 분포에 설명 방법을 적용하여 설명 분포를 생성한다.
설명 분포의 평균, 표준편차, 변동계수를 계산하여 설명의 불확실성을 정량화한다. 평균 설명 맵은 모델 예측에 중요한 입력 특징을 강조하며, 표준편차 설명 맵은 특징 중요도에 대한 불확실성을 나타낸다. 변동계수는 이 두 값을 결합하여 설명의 불확실성을 단일 척도로 나타낸다.
또한 픽셀 삭제/삽입 지표를 수정하여 설명 분포의 품질을 평가한다. 이를 통해 설명의 품질을 정량적으로 측정할 수 있다.
제안한 접근법을 이미지 분류(CIFAR-10, FER+) 및 표 형식 회귀(California Housing) 문제에 적용하여 그 효과를 검증하였다. 실험 결과, Guided Backpropagation 방법이 다른 설명 방법에 비해 낮은 불확실성을 가지는 것으로 나타났다.
Stats
신경망 출력 분포의 평균은 모델 예측에 중요한 입력 특징을 강조한다.
신경망 출력 분포의 표준편차는 특징 중요도에 대한 불확실성을 나타낸다.
신경망 출력 분포의 변동계수는 설명의 불확실성을 단일 척도로 나타낸다.
Quotes
"With such critical applications of these methods, it is imperative to measure the uncertainty associated with the explanations generated by these methods."
"We propose a pipeline to ascertain the explanation uncertainty of neural networks by combining uncertainty estimation methods and explanation methods."
"By computing the coefficient of variation of these distributions, we evaluate the confidence in the explanation and determine that the explanations generated using Guided Backpropagation have low uncertainty associated with them."