Основные понятия
상호작용형 Merlin-Arthur 분류기를 통해 복잡한 모델에서도 특징과 분류 결정 간의 상호 정보량에 대한 보장을 제공한다.
Аннотация
이 논문은 신경망과 같은 복잡한 모델에 대해 해석 가능성을 보장하는 상호작용형 Merlin-Arthur 분류기를 제안한다. 이 분류기는 특징 선택기인 Merlin과 특징 분류기인 Arthur로 구성되며, Merlin은 Arthur가 올바르게 분류할 수 있는 특징을 선택하고, Arthur는 Merlin이 선택한 특징을 바탕으로 분류를 수행한다.
논문에서는 이 설정에서 완전성(completeness)과 건전성(soundness)이라는 개념을 도입하여, 이를 통해 Merlin이 선택한 특징과 분류 결정 간의 상호 정보량에 대한 하한을 보장할 수 있음을 보인다. 이 때 특징들 간의 비대칭적 상관관계(Asymmetric Feature Correlation, AFC)를 고려하여 보다 현실적인 분석을 수행한다.
실험 결과를 통해 제안하는 Merlin-Arthur 분류기가 기존 XAI 방법론의 취약점을 극복할 수 있음을 보인다. 또한 이론적 하한과 실험 결과가 잘 부합함을 확인하였다.
Статистика
데이터셋의 클래스 불균형 B는 최대 클래스 확률과 최소 클래스 확률의 비율로 정의된다.
비대칭적 특징 상관관계 κ는 한 클래스에서는 특징이 집중되어 있지만 다른 클래스에서는 고르게 분포되어 있는 정도를 나타낸다.
Цитаты
"우리는 최적의 에이전트를 가정하지 않으며, 특징들이 독립적으로 분포된다는 가정도 하지 않는다. 대신 에이전트들의 상대적 강도와 비대칭적 특징 상관관계라는 새로운 개념을 사용한다."
"우리는 유한 샘플링된 데이터셋과 편향된 데이터셋에 대한 결과도 제시한다. 이를 통해 교환된 특징이 정보적이거나, 데이터셋에 편향되어 있음을 보여준다."