Selbstüberwachtes Lernen von 3D-Darstellungen durch Verwendung von Neural Radiance Fields

Wir präsentieren NeRF-MAE, das erste großangelegte selbstüberwachte Vortraining, das die Radiance- und Dichtegitter von Neural Radiance Fields (NeRF) als Eingabemodaliät verwendet. Unser Ansatz nutzt ein Standard-3D-Swin-Transformer-Encoder und einen Voxel-Decoder, um eine leistungsfähige Darstellung in einem opazitätsbewussten, dichten volumetrischen selbstüberwachten Lernziel direkt in 3D zu lernen.