Effiziente Repräsentationslernung mit dreifacher Entkopplung für multimodale Affektanalyse
Eine neuartige dreifache Entkopplung von Repräsentationen, die modality-invariante, effektiv modality-spezifische und ineffektiv modality-spezifische Repräsentationen aus den Eingabedaten extrahiert, um den Einfluss irrelevanter und widersprüchlicher Informationen über Modalitäten hinweg während des Modelltrainings erheblich zu verringern.
Verbesserung der Leistung von Multimodalen Lernmodellen durch Attributionsregularisierung
Dieser Forschungsbeitrag zielt darauf ab, eine neuartige Regularisierungsmethode zu entwickeln, die Multimodale Lernmodelle dazu ermutigt, Informationen aus allen Modalitäten bei der Entscheidungsfindung zu berücksichtigen, um so die Probleme der Modalitätsvorherrschaft und des Modalitätsversagens zu mildern.
Erweiterung der Contrastive Loss-Funktion für die Verarbeitung und Analyse von Social-Media-Daten in einem trimodalen Raum
Die Erweiterung der Contrastive Loss-Funktion auf drei oder mehr Modalitäten ermöglicht ein besseres Verständnis der Interaktionen zwischen Text, Bild und Video in Social-Media-Beiträgen.
© 2024 by Linnk AI