Die Studie befasst sich mit dem Problem der unüberwachten Sichtbar-Infrarot-Personenidentifikation (UVI-ReID), bei dem Personen über verschiedene Kameras hinweg identifiziert werden müssen, ohne auf annotierte Trainingsdaten zurückgreifen zu können.
Die Autoren analysieren zunächst theoretisch, warum bestehende unüberwachte Methoden, die auf Intra-Modalitäts-Clustering und Kreuz-Modalitäts-Merkmalsanpassung setzen, Probleme haben. Insbesondere können verrauschte Pseudo-Labels aus dem Clustering-Prozess die Leistung beeinträchtigen, und die Anpassung der Randverteilungen von sichtbaren und Infrarot-Merkmalen kann zu einer Fehlausrichtung der Identitäten zwischen den beiden Modalitäten führen.
Basierend auf dieser Analyse schlagen die Autoren ein neues unüberwachtes Kreuz-Modalitäts-Personenidentifikationsframework namens PRAISE vor. Es enthält zwei Schlüsselstrategien:
Pseudo-Label-Korrektur (PLC): Hier wird ein Beta-Mischmodell verwendet, um die Wahrscheinlichkeit von Fehlgruppierungen basierend auf dem Netzwerkgedächtniseffekt vorherzusagen und einen Wahrnehmungsterm in das kontrastive Lernen einzubeziehen, um robustere diskriminative Merkmale zu lernen.
Modalitätsbasierte Ausrichtung (MLA): Hier wird ein bidirektionales Übersetzungsmodul eingeführt, um gekoppelte sichtbare-Infrarot-Merkmale zu erzeugen, und eine Kreuz-Modalitäts-Ausrichtungsverlustfunktion verwendet, um die Modalitätsunterschiede zu verringern.
Die experimentellen Ergebnisse auf zwei Benchmark-Datensätzen zeigen, dass PRAISE den Stand der Technik bei unüberwachten Sichtbar-ReID-Methoden übertrifft.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Yexin Liu,We... : arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.06683.pdfDaha Derin Sorular