Die Studie untersucht das Problem fehlender Modalitäten in der RGBT-Verfolgung und schlägt einen neuen Lösungsansatz sowie mehrere hochwertige Benchmark-Datensätze für die Modality-missing RGBT-Verfolgung vor.
Zunächst wird systematisch das Problem der fehlenden Modalitäten in der RGBT-Verfolgung untersucht und erstmals ein Prompt-Lernrahmen eingeführt, um dieses Problem zu lösen. Dann wird ein neuartiger invertibler Prompt-Lernansatz vorgeschlagen, der die Probleme der semantischen Verzerrung und des Informationsverlusts bei der Generierung von Prompt-Merkmalen über Modalitäten hinweg effektiv adressiert. Außerdem wird ein aufgabenausrichtender Verlust eingeführt, um die Lücke zwischen generierten Prompts und der nachgelagerten Verfolgungsaufgabe zu verringern.
Um eine umfassende Evaluationsplattform bereitzustellen, werden mehrere hochwertige Benchmark-Datensätze konstruiert, in denen verschiedene Szenarien mit fehlenden Modalitäten berücksichtigt werden, um reale Herausforderungen zu simulieren.
Umfangreiche Experimente auf öffentlichen und erstellten Datensätzen zeigen, dass die vorgeschlagene Methode sowohl in Szenarien mit fehlenden als auch mit vollständigen Modalitäten hervorragende Leistung gegenüber state-of-the-art-RGBT-Verfolgungsmethoden erzielt.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Andong Lu,Ji... um arxiv.org 03-21-2024
https://arxiv.org/pdf/2312.16244.pdfTiefere Fragen