이 연구에서는 새소리 분류를 위한 해석 가능한 딥러닝 모델 AudioProtoPNet을 제안한다. 이 모델은 ConvNeXt 백본 구조를 사용하여 새소리 스펙트로그램에서 특징을 추출하고, 각 새 종의 프로토타입 패턴을 학습한다. 새로운 데이터 분류 시 이 프로토타입과의 유사도 비교를 통해 분류를 수행하며, 동시에 분류 결과에 대한 설명을 제공한다.
AudioProtoPNet은 기존 프로토타입 학습 모델과 달리 전체 샘플이 아닌 부분 프로토타입을 학습할 수 있으며, 다중 레이블 분류 문제에도 적용할 수 있다. 8개의 새소리 데이터셋에 대한 평가 결과, AudioProtoPNet은 기존 블랙박스 모델과 유사한 성능을 보이면서도 해석 가능성을 제공한다.
해석 가능성은 새소리 모니터링 분야에서 매우 중요하다. 새소리 데이터에는 다양한 새 종의 소리와 환경음이 혼재되어 있어, 모델의 결정 과정을 이해하는 것이 필수적이다. AudioProtoPNet은 프로토타입을 통해 모델의 내부 작동 원리를 설명할 수 있어, 전문가들이 모델을 신뢰하고 활용할 수 있게 한다.
To Another Language
from source content
arxiv.org
Deeper Inquiries