Die Autoren identifizieren zwei Hauptprobleme, die die Leistung von Deep-Learning-basierten rPPG-Methoden bei der Verwendung mehrerer Datensätze einschränken: Labelkonflikte aufgrund unterschiedlicher Phasenverschiebungen zwischen physiologischen Signalen und Gesichtsvideos sowie Attributkonflikte aufgrund von Verteilungsverschiebungen durch Kopfbewegungen, Beleuchtungsänderungen, Hauttypen usw.
Um diese Probleme zu lösen, schlagen die Autoren das DOmain-HArmonious-Framework (DOHA) vor. DOHA besteht aus zwei Hauptkomponenten:
Harmonische Phasenstrategie (DOHA-HPS): Hierbei wird die zeitliche physiologische Information in eine selbstähnliche Darstellung (Selbstähnlichkeitsphysiologiekarte) überführt, um Labelkonflikte zu reduzieren und die zeitliche Variation physiologischer Signale zu erhalten.
Harmonische Hyperebenenoptimierung (DOHA-HHO): Hier werden irrelevante Attributverschiebungen reduziert und die Optimierung des Modells in Richtung einer globalen Lösung, die mehr gültige Szenarien abdeckt, gefördert. DOHA-HHO besteht aus zwei Teilen:
a) Globale Gradientenharmonie (DOHA-GGH): Identifizierung und Ausschluss von Instanzen, die nicht zur Gesamtoptimierung beitragen.
b) Instanzweise Gradientenharmonie (DOHA-IGH): Abschwächung konfligierender Komponenten zwischen verbleibenden Instanzen, um das Modell auf gemeinsame Merkmale (rPPG-Signal) zu fokussieren.
Die umfangreichen Experimente zeigen, dass DOHA die Leistung bestehender Methoden unter mehreren Protokollen signifikant verbessert.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Weiyu Sun,Xi... lúc arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07855.pdfYêu cầu sâu hơn