Die Studie untersucht das Problem fehlender Modalitäten in der RGBT-Verfolgung und schlägt einen neuen Lösungsansatz sowie mehrere hochwertige Benchmark-Datensätze für die Modality-missing RGBT-Verfolgung vor.
Zunächst wird systematisch das Problem der fehlenden Modalitäten in der RGBT-Verfolgung untersucht und erstmals ein Prompt-Lernrahmen eingeführt, um dieses Problem zu lösen. Dann wird ein neuartiger invertibler Prompt-Lernansatz vorgeschlagen, der die Probleme der semantischen Verzerrung und des Informationsverlusts bei der Generierung von Prompt-Merkmalen über Modalitäten hinweg effektiv adressiert. Außerdem wird ein aufgabenausrichtender Verlust eingeführt, um die Lücke zwischen generierten Prompts und der nachgelagerten Verfolgungsaufgabe zu verringern.
Um eine umfassende Evaluationsplattform bereitzustellen, werden mehrere hochwertige Benchmark-Datensätze konstruiert, in denen verschiedene Szenarien mit fehlenden Modalitäten berücksichtigt werden, um reale Herausforderungen zu simulieren.
Umfangreiche Experimente auf öffentlichen und erstellten Datensätzen zeigen, dass die vorgeschlagene Methode sowohl in Szenarien mit fehlenden als auch mit vollständigen Modalitäten hervorragende Leistung gegenüber state-of-the-art-RGBT-Verfolgungsmethoden erzielt.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Andong Lu,Ji... pada arxiv.org 03-21-2024
https://arxiv.org/pdf/2312.16244.pdfPertanyaan yang Lebih Dalam