
A comprehensive task, Modality-Incomplete Scene Segmentation (MISS), is studied to cover both system-level modality missing and sensor-level modality errors in multi-modal semantic segmentation. A Missing-aware Modal Switch (MMS) training strategy and a Fourier Prompt Tuning (FPT) method are proposed to address these challenges, enabling efficient and robust multi-modal perception.


coremsg

robust-multi-modal-semantic-segmentation-with-modality-incomplete-scenarios


Robust Multi-Modal Semantic Segmentation with Modality-Incomplete Scenarios


title_rewrite


Durch die Einführung einer Missing-aware Modal Switch (MMS)-Strategie und einer Fourier-Prompt-Feinabstimmung (FPT) wird die Robustheit von multimodalen Wahrnehmungssystemen gegen den Ausfall von Modalitäten auf Systemebene und Sensorebene verbessert.


robuste-wahrnehmung-von-szenen-mit-unvollständigen-modalitäten-durch-fourier-prompt-feinabstimmung


Robuste Wahrnehmung von Szenen mit unvollständigen Modalitäten durch Fourier-Prompt-Feinabstimmung
