核心概念
불완전한 모달리티 상황에서 다중 모달 감정 분석을 위해 상관관계 분리 지식 증류 프레임워크를 제안한다.
摘要
이 논문은 다중 모달 감정 분석(MSA) 작업에서 불확실한 모달리티 누락 문제를 해결하기 위한 상관관계 분리 지식 증류(CorrKD) 프레임워크를 제안한다.
주요 내용은 다음과 같다:
-
샘플 수준 대조 증류 메커니즘: 샘플 간 상관관계를 캡처하고 전달하여 누락된 의미를 정확하게 재구성한다.
-
카테고리 가이드 프로토타입 증류 메커니즘: 카테고리 프로토타입을 통해 카테고리 간 상관관계를 학습하여 감정 관련 의미를 정제하고 강건한 다중 모달 표현을 생성한다.
-
응답 분리 일관성 증류 전략: 이질적인 응답을 분리하고 동종 응답 간 상호 정보를 최대화하여 학생 네트워크의 감정 결정 경계를 최적화한다.
이러한 구성 요소를 통해 CorrKD는 불확실한 모달리티 누락 및 완전 모달리티 테스트 조건에서 3개의 다중 모달 벤치마크에서 우수한 성능을 달성한다.
統計資料
불완전한 모달리티로 인해 모델의 성능이 크게 저하된다.
제안된 CorrKD 프레임워크는 다양한 모달리티 누락 상황에서 우수한 성능을 보인다.
CorrKD의 평균 F1 점수는 GCNet 대비 0.85% 향상되었으며, 특히 언어 모달리티만 있는 {a, v} 테스트 조건에서 3.72% 향상되었다.
引述
"상관관계는 누락의 안개 속에서 등대 역할을 한다."
"샘플 수준 대조 증류 메커니즘은 포괄적인 샘플 간 상관관계를 캡처하고 전달하여 학생 네트워크의 누락된 의미를 정확하게 재구성한다."
"카테고리 가이드 프로토타입 증류 메커니즘은 카테고리 프로토타입을 통해 카테고리 간 상관관계를 학습하여 감정 관련 의미를 정제하고 강건한 다중 모달 표현을 생성한다."
"응답 분리 일관성 증류 전략은 이질적인 응답을 분리하고 동종 응답 간 상호 정보를 최대화하여 학생 네트워크의 감정 결정 경계를 최적화한다."