핵심 개념
主題:マルチモーダル人間意図理解の偏見を解消するための新しい手法であるSuCIが提案されました。
초록
この論文は、マルチモーダル人間意図理解(MIU)における主題変動問題を明らかにし、主題を実質的な有害な交絡因子として特定します。そのため、主題因果介入モジュール(SuCI)を提案して、主題固有の誤った相関関係による予測バイアスを除去します。包括的な実験は、SuCIの多様な手法への適用可能性を示しています。
통계
SuCIは新しい手法であり、既存の方法と比較して改善されたパフォーマンスを示しています。
MOSIデータセットでは、SuCIによってAcc7が1.2%、Acc2が0.8%向上しました。
MOSEIデータセットでは、DMD + SuCIがAcc7で1.1%、Acc2で1.7%向上しました。
UR_FUNNYデータセットでは、MMIM + SuCIがAcc2で1.39%向上しました。
인용구
"Multimodal intention understanding (MIU) is an indispensable component of human expression analysis."
"Motivated by this observation, we introduce a recapitulative causal graph to formulate the MIU procedure and analyze the confounding effect of subjects."
"Comprehensive experiments on several MIU benchmarks clearly demonstrate the effectiveness of the proposed module."