다중 모달 정보를 활용하여 강력한 모달리티의 기여도를 강조하고 약한 모달리티의 효과를 향상시키는 방법을 제안한다.
본 연구는 대화 속 감정 인식을 위해 감정 정보를 활용한 대조 학습 프레임워크를 제안한다. 이를 통해 유사한 감정을 더욱 잘 구분할 수 있는 발화 표현을 생성한다.
본 연구는 대화 감정 인식을 위해 감정 관성과 전염을 모델링하는 EmotionIC 모델을 제안한다. EmotionIC는 대화 맥락 정보를 특징 추출 및 분류 단계에서 효과적으로 활용하여 우수한 성능을 달성한다.
본 연구는 대화 감정 인식 (ERC) 작업을 판별 프레임워크에서 생성 프레임워크로 재구성하여 LLM을 활용하는 새로운 접근법인 InstructERC를 제안한다. InstructERC는 다중 과제 검색 기반 모듈과 화자 식별 및 감정 예측 보조 과제를 통해 대화 관계와 미래 감정 경향을 효과적으로 모델링한다.
대화 맥락, 화자 정보, 다자간 대화 시나리오에 의해 크게 영향을 받는 대화 감정 인식 문제를 해결하기 위해, 화자의 의도와 청자의 반응과 같은 상식 지식을 활용하여 화자 정보를 심층적으로 탐색하는 새로운 접근법을 제안한다.