
Durch die Einführung einer Missing-aware Modal Switch (MMS)-Strategie und einer Fourier-Prompt-Feinabstimmung (FPT) wird die Robustheit von multimodalen Wahrnehmungssystemen gegen den Ausfall von Modalitäten auf Systemebene und Sensorebene verbessert.


coremsg

robuste-wahrnehmung-von-szenen-mit-unvollständigen-modalitäten-durch-fourier-prompt-feinabstimmung


Robuste Wahrnehmung von Szenen mit unvollständigen Modalitäten durch Fourier-Prompt-Feinabstimmung


title_rewrite


Der 360+x-Datensatz bietet eine umfassende Erfassung der Umgebung aus verschiedenen Perspektiven (360°-Panorama, Ego-Perspektive, Drittanbieter-Frontsicht) und Modalitäten (Video, Audio, Ortungsinformationen), um das menschliche Verständnis der Welt widerzuspiegeln.


umfassendes-360-x-datensatz-für-panoptische-szenenverständnis-mehrere-perspektiven-und-modalitäten-zur-erfassung-des-realen-alltags


Umfassendes 360+x-Datensatz für panoptische Szenenverständnis: Mehrere Perspektiven und Modalitäten zur Erfassung des realen Alltags
