이 논문은 분류 시스템 평가에 사용되는 다양한 지표들을 분석하고 있다.
먼저 분류 시스템 평가의 기본 개념인 혼동 행렬과 지표에 대해 소개한다. 그리고 단조성, 클래스 민감성, 클래스 분해 가능성, 출현 빈도 불변성, 우연 수정 등 5가지 지표 속성을 정의한다.
이어서 정확도, 매크로 재현율, 매크로 정밀도, 두 가지 매크로 F1, 가중 F1, Kappa, MCC 등 다양한 지표를 분석한다. 각 지표가 위 5가지 속성을 어떻게 만족하는지 살펴보고, 지표의 직관적 해석과 장단점을 논의한다.
또한 출현 빈도 보정을 통해 지표의 특성을 개선할 수 있음을 보인다. 마지막으로 SemEval 공동 과제에서의 지표 선택 사례를 분석하고, 지표 선택에 대한 권장 사항을 제시한다.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Juri Opitz : arxiv.org 04-29-2024
https://arxiv.org/pdf/2404.16958.pdfDaha Derin Sorular