본 연구는 텍스트 모달리티의 주도적 역할을 강조하는 다중 모달 감정 분석 모델인 TCAN을 제안한다. TCAN은 텍스트 모달리티 기반의 교차 주의 메커니즘과 게이트 제어 기법을 통해 다중 모달 간 상호작용을 강화하고 잡음 및 중복 정보를 효과적으로 제거한다. 또한 단일 모달 공동 학습을 도입하여 다중 모달 간 감정적 일관성을 학습한다.
대화에서 개별 발화의 감정을 식별하고 해당 감정의 원인이 되는 발화를 추출하는 것이 이 연구의 핵심 목표이다.
다중 모달 언어 모델을 활용하여 텍스트, 오디오, 시각적 정보를 통합하여 대화에서 감정과 그 원인을 정확하게 추출하는 새로운 프레임워크를 제안한다.
감정과 감정 원인 간의 인과 관계와 상호 보완성을 활용하여 감정 인식과 감정 원인 추출을 통합적으로 모델링하는 UniMEEC 프레임워크를 제안한다.