Core Concepts
오픈 소스 AI 비전 모델의 정확도, 강건성, 설명 가능성 및 설명 회복력을 체계적으로 평가하는 프레임워크를 제시한다.
Abstract
이 연구는 AI 모델의 품질 속성을 종합적으로 평가하기 위한 개념적 프레임워크를 제안한다. 이 프레임워크는 AI 모델의 계산 효율성, 성능, 설명 가능성, 강건성 및 설명 회복력을 평가한다.
모델 성능 평가에서는 정확도, 정밀도, 재현율, F1 점수 및 AUC-ROC 지표를 사용한다. 강건성 평가에서는 벤치마크 데이터셋을 활용하여 가우시안 노이즈, 초점 흐림 및 픽셀화 등의 적대적 공격에 대한 모델 성능 변화를 측정한다.
설명 가능성 평가에서는 XAI 기법을 통해 생성된 설명의 유용성을 측정한다. 설명 회복력 평가에서는 적대적 공격 하에서 설명 유용성의 변화를 분석한다.
이 프레임워크를 통해 다양한 CNN 기반, 트랜스포머 기반 및 하이브리드 아키텍처의 6개 컴퓨터 비전 모델을 평가한다. 결과는 모델의 강건성과 설명 회복력에 차이가 있음을 보여준다.
Stats
CNN 기반, 트랜스포머 기반 및 하이브리드 아키텍처의 6개 컴퓨터 비전 모델을 평가했다.
3가지 유형의 적대적 공격(가우시안 노이즈, 초점 흐림, 픽셀화)을 적용했다.
5가지 XAI 기법을 사용했다.
총 90개의 고유한 조합을 분석했다.
Quotes
"오픈 소스 AI 모델의 품질 속성을 체계적으로 평가하는 프레임워크를 제시한다."
"모델의 강건성과 설명 회복력에 차이가 있음을 보여준다."