核心概念
감정과 감정 원인 간의 인과 관계와 상호 보완성을 활용하여 감정 인식과 감정 원인 추출을 통합적으로 모델링하는 UniMEEC 프레임워크를 제안한다.
要約
이 논문은 다중 모달 감정 인식(MERC)과 다중 모달 감정-원인 쌍 추출(MECPE)을 통합적으로 다루는 UniMEEC 프레임워크를 제안한다.
UniMEEC은 다음과 같은 특징을 가진다:
- MERC와 MECPE 작업을 마스크 예측 문제로 재정의하여 감정과 감정 원인 간의 인과 관계를 활용한다.
- 모달리티 특정 프롬프트 학습(MPL)을 통해 사전 훈련된 언어 모델로부터 모달리티 특정 지식을 추출한다.
- 작업 특정 계층적 문맥 집계(THC) 모듈을 통해 대화 내 문맥 정보를 효과적으로 활용한다.
실험 결과, UniMEEC은 MELD, IEMOCAP, ConvECPE, ECF 데이터셋에서 기존 최신 기법 대비 성능 향상을 보였다. 이는 감정과 감정 원인의 통합적 모델링이 효과적임을 보여준다.
統計
감정 인식 성능 향상:
IEMOCAP 데이터셋에서 WF1 지표 1.99% 향상
MELD 데이터셋에서 WF1 지표 1.85% 향상
감정-원인 쌍 추출 성능 향상:
ECF 데이터셋에서 원인 인식 F1 지표 2.09% 향상, 쌍 추출 F1 지표 3.29% 향상
ConvECPE 데이터셋에서 원인 인식 F1 지표 11.17% 향상, 쌍 추출 F1 지표 13.18% 향상