이 논문은 다중 모달 감정 분석을 위한 새로운 접근 방식을 제안한다. 주요 내용은 다음과 같다:
공유 정보와 개인 정보를 모두 효과적으로 학습하기 위해 공분산 행렬 기반의 깊은 모달 공유 정보 학습 모듈을 제안한다. 이를 통해 모달 간 공유 정보를 효과적으로 포착할 수 있다.
자기 지도 학습 기반의 유니모달 레이블 생성 모듈을 도입하여 각 모달의 개인 정보를 학습한다. 이를 통해 모달 간 차별화된 정보를 효과적으로 학습할 수 있다.
공유 정보 손실, 개인 정보 손실, 다중 과제 손실 등 다양한 손실 함수를 통합하여 모델이 공유 정보와 개인 정보를 균형 있게 학습할 수 있도록 한다.
제안 모델을 3개의 다중 모달 감정 분석 벤치마크 데이터셋에 적용하여 우수한 성능을 보였다. 이를 통해 제안 방식의 효과성을 검증하였다.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Songning Lai... ที่ arxiv.org 03-20-2024
https://arxiv.org/pdf/2305.08473.pdfสอบถามเพิ่มเติม