Generalisierte Wahrnehmungs-NeRF für kontextbewusste 3D-Szenenanalyse
Die Autoren präsentieren GP-NeRF, ein neuartiges Framework, das NeRF und leistungsfähige 2D-Segmentierungsmodule vereint, um eine kontextbewusste 3D-Szenenwahrnehmung zu ermöglichen. Im Gegensatz zu bisherigen NeRF-basierten Ansätzen, die Semantiklabels für jeden Pixel unabhängig voneinander rendern, nutzt GP-NeRF Transformers, um Strahlungs- und semantische Einbettungsfelder gemeinsam zu konstruieren und diese für die volumetrische Renderung in neuen Ansichten zu verwenden. Außerdem werden zwei neuartige Selbstdistillationsmechanismen eingeführt, um die Diskriminierung und Qualität des semantischen Einbettungsfelds zu verbessern.
