Core Concepts
레이블링된 데이터와 기호적 추론 방법을 활용하여 심층 신경망 내부 뉴런의 의미 있는 해석을 자동으로 생성할 수 있다.
Abstract
이 논문은 심층 신경망 내부 뉴런 활성화에 대한 해석을 자동으로 생성하는 새로운 모델 독립적 사후 설명 가능 AI 방법을 소개한다. 이 접근법은 약 200만 개의 클래스로 구성된 위키피디아 기반 개념 계층을 배경 지식으로 활용하고, OWL 추론 기반 개념 유도를 사용하여 설명을 생성한다. 또한 사전 학습된 멀티모달 기반 설명 가능 방법의 기능도 탐색하고 비교한다.
연구 결과에 따르면 제안 방법은 합성곱 신경망의 밀집 층에 있는 개별 뉴런에 대해 의미 있는 클래스 표현을 자동으로 붙일 수 있다. 통계 분석과 은닉층 활성화 정도 분석을 통해 제안 방법이 정량적 및 정성적 측면에서 기존 연구보다 경쟁력 있는 성능을 제공한다는 것을 보여준다.
Stats
제안 방법은 기존 심층 신경망 모델의 성능을 저하시키지 않고도 설명 기능을 제공할 수 있다.
제안 방법은 약 200만 개의 클래스로 구성된 배경 지식을 활용하여 설명을 생성할 수 있다.
제안 방법은 OWL 추론 기반 개념 유도를 사용하여 설명을 생성하므로 inherently 설명 가능하다.
Quotes
"레이블링된 데이터와 기호적 추론 방법을 활용하여 심층 신경망 내부 뉴런의 의미 있는 해석을 자동으로 생성할 수 있다."
"제안 방법은 정량적 및 정성적 측면에서 기존 연구보다 경쟁력 있는 성능을 제공한다."