Durch die Einführung einer Missing-aware Modal Switch (MMS)-Strategie und einer Fourier-Prompt-Feinabstimmung (FPT) wird die Robustheit von multimodalen Wahrnehmungssystemen gegen den Ausfall von Modalitäten auf Systemebene und Sensorebene verbessert.
Der 360+x-Datensatz bietet eine umfassende Erfassung der Umgebung aus verschiedenen Perspektiven (360°-Panorama, Ego-Perspektive, Drittanbieter-Frontsicht) und Modalitäten (Video, Audio, Ortungsinformationen), um das menschliche Verständnis der Welt widerzuspiegeln.