Die Autoren identifizieren zwei Hauptprobleme, die die Leistung von Deep-Learning-basierten rPPG-Methoden bei der Verwendung mehrerer Datensätze einschränken: Labelkonflikte aufgrund unterschiedlicher Phasenverschiebungen zwischen physiologischen Signalen und Gesichtsvideos sowie Attributkonflikte aufgrund von Verteilungsverschiebungen durch Kopfbewegungen, Beleuchtungsänderungen, Hauttypen usw.
Um diese Probleme zu lösen, schlagen die Autoren das DOmain-HArmonious-Framework (DOHA) vor. DOHA besteht aus zwei Hauptkomponenten:
Harmonische Phasenstrategie (DOHA-HPS): Hierbei wird die zeitliche physiologische Information in eine selbstähnliche Darstellung (Selbstähnlichkeitsphysiologiekarte) überführt, um Labelkonflikte zu reduzieren und die zeitliche Variation physiologischer Signale zu erhalten.
Harmonische Hyperebenenoptimierung (DOHA-HHO): Hier werden irrelevante Attributverschiebungen reduziert und die Optimierung des Modells in Richtung einer globalen Lösung, die mehr gültige Szenarien abdeckt, gefördert. DOHA-HHO besteht aus zwei Teilen:
a) Globale Gradientenharmonie (DOHA-GGH): Identifizierung und Ausschluss von Instanzen, die nicht zur Gesamtoptimierung beitragen.
b) Instanzweise Gradientenharmonie (DOHA-IGH): Abschwächung konfligierender Komponenten zwischen verbleibenden Instanzen, um das Modell auf gemeinsame Merkmale (rPPG-Signal) zu fokussieren.
Die umfangreichen Experimente zeigen, dass DOHA die Leistung bestehender Methoden unter mehreren Protokollen signifikant verbessert.
To Another Language
from source content
arxiv.org
Djupare frågor