マルチモーダル感情分析

Logg Inn

innsikt - マルチモーダル感情分析

言語モダリティが支配的であることを認識し、ドミナントモダリティ補正モジュールとドミナントモダリティベースのマルチモーダル学習モジュールを備えた革新的なLNLNモデルを提案することで、様々なノイズシナリオにおける堅牢性を向上させる。

不完全モダリティ下でのマルチモーダル感情分析のためのCorrKDフレームワークを提案する。サンプルレベルの対照学習、カテゴリガイド型プロトタイプ蒸留、応答分離型一貫性蒸留の3つの核心的な要素により、欠損モダリティの意味を効果的に再構築し、ロバストな共同マルチモーダル表現を生成する。

会話における個々の発話の感情を特定し、その感情の原因となった発話を抽出する。

提案するMER-MCEフレームワークは、テキスト、音声、視覚の各モダリティを活用して感情を認識し、マルチモーダルな言語モデルを使って感情の原因を抽出する。

感情と感情原因の因果関係と相互補完性を活用し、感情認識と感情原因抽出を統一的に解決する。

Produkter | Ressurser

Innsikter