이 논문은 다중 모달 감정 분석(MSA) 작업에서 불확실한 모달리티 누락 문제를 해결하기 위한 상관관계 분리 지식 증류(CorrKD) 프레임워크를 제안한다.
주요 내용은 다음과 같다:
샘플 수준 대조 증류 메커니즘: 샘플 간 상관관계를 캡처하고 전달하여 누락된 의미를 정확하게 재구성한다.
카테고리 가이드 프로토타입 증류 메커니즘: 카테고리 프로토타입을 통해 카테고리 간 상관관계를 학습하여 감정 관련 의미를 정제하고 강건한 다중 모달 표현을 생성한다.
응답 분리 일관성 증류 전략: 이질적인 응답을 분리하고 동종 응답 간 상호 정보를 최대화하여 학생 네트워크의 감정 결정 경계를 최적화한다.
이러한 구성 요소를 통해 CorrKD는 불확실한 모달리티 누락 및 완전 모달리티 테스트 조건에서 3개의 다중 모달 벤치마크에서 우수한 성능을 달성한다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Mingcheng Li... at arxiv.org 04-26-2024
https://arxiv.org/pdf/2404.16456.pdfDeeper Inquiries