Die Autoren identifizieren zwei Hauptprobleme, die die Leistung von Deep-Learning-basierten rPPG-Methoden bei der Verwendung mehrerer Datensätze einschränken: Labelkonflikte aufgrund unterschiedlicher Phasenverschiebungen zwischen physiologischen Signalen und Gesichtsvideos sowie Attributkonflikte aufgrund von Verteilungsverschiebungen durch Kopfbewegungen, Beleuchtungsänderungen, Hauttypen usw.
Um diese Probleme zu lösen, schlagen die Autoren das DOmain-HArmonious-Framework (DOHA) vor. DOHA besteht aus zwei Hauptkomponenten:
Harmonische Phasenstrategie (DOHA-HPS): Hierbei wird die zeitliche physiologische Information in eine selbstähnliche Darstellung (Selbstähnlichkeitsphysiologiekarte) überführt, um Labelkonflikte zu reduzieren und die zeitliche Variation physiologischer Signale zu erhalten.
Harmonische Hyperebenenoptimierung (DOHA-HHO): Hier werden irrelevante Attributverschiebungen reduziert und die Optimierung des Modells in Richtung einer globalen Lösung, die mehr gültige Szenarien abdeckt, gefördert. DOHA-HHO besteht aus zwei Teilen:
a) Globale Gradientenharmonie (DOHA-GGH): Identifizierung und Ausschluss von Instanzen, die nicht zur Gesamtoptimierung beitragen.
b) Instanzweise Gradientenharmonie (DOHA-IGH): Abschwächung konfligierender Komponenten zwischen verbleibenden Instanzen, um das Modell auf gemeinsame Merkmale (rPPG-Signal) zu fokussieren.
Die umfangreichen Experimente zeigen, dass DOHA die Leistung bestehender Methoden unter mehreren Protokollen signifikant verbessert.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Weiyu Sun,Xi... kl. arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07855.pdfDybere Forespørgsler