Concepts de base
Eine neuartige dreifache Entkopplung von Repräsentationen, die modality-invariante, effektiv modality-spezifische und ineffektiv modality-spezifische Repräsentationen aus den Eingabedaten extrahiert, um den Einfluss irrelevanter und widersprüchlicher Informationen über Modalitäten hinweg während des Modelltrainings erheblich zu verringern.
Résumé
Die Studie zeigt, dass modality-spezifische Repräsentationen Informationen enthalten können, die für die Aufgabe irrelevant oder widersprüchlich sind, was die Effektivität der erlernten multimodalen Repräsentationen beeinträchtigt. Daher wird ein neuartiger Ansatz namens TriDiRA vorgestellt, der die modality-invarianten, effektiv modality-spezifischen und ineffektiv modality-spezifischen Repräsentationen aus den Eingabedaten entflechtet. Durch das Fusionieren nur der modality-invarianten und effektiv modality-spezifischen Repräsentationen kann TriDiRA den Einfluss irrelevanter und widersprüchlicher Informationen über Modalitäten hinweg während des Modelltrainings erheblich verringern. Umfangreiche Experimente auf vier Benchmark-Datensätzen zeigen die Effektivität und Generalisierungsfähigkeit der dreifachen Entkopplung, die SOTA-Methoden übertrifft.
Stats
Die Studie verwendet vier Benchmark-Datensätze für multimodale Affektanalyse: CMU-MOSI, CMU-MOSEI, UR-FUNNY und MELD.
CMU-MOSI enthält 2199 Äußerungsvideos, in denen 89 Personen ihre Meinungen zu interessanten Themen ausdrücken. Jede Äußerung ist manuell mit einem Sentimentwert zwischen -3 und +3 annotiert.
CMU-MOSEI erweitert CMU-MOSI und enthält 22.856 annotierte Videosequenzen (Äußerungen) aus 5.000 Videos, 1.000 Personen und 250 verschiedenen Themen.
UR-FUNNY umfasst 16.514 Samples multimodaler Äußerungen aus TED-Talks mit diversen Themen und Sprechern, die mit binären Humor/Nicht-Humor-Labels annotiert sind.
MELD enthält 13.707 Videoclips von Mehrparteien-Gesprächen, die mit Ekman's sechs universellen Emotionen (Freude, Traurigkeit, Angst, Wut, Überraschung, Ekel) annotiert sind.
Citations
Keine relevanten Zitate gefunden.