Khái niệm cốt lõi
Unser Ansatz ermöglicht eine ganzheitliche Darstellung urbaner Szenen, indem er Geometrie, Erscheinung, Semantik und Bewegung in einem einheitlichen 3D-Gaussschen Modell integriert. Dies ermöglicht die Erzeugung von Ansichten, semantischen Karten und Bewegungsfeldern allein aus RGB-Bildern, ohne zusätzliche Eingaben wie LiDAR-Scans oder manuell annotierte 3D-Begrenzungsboxen zu benötigen.
Tóm tắt
Unser Ansatz zielt darauf ab, urbane Szenen ganzheitlich zu verstehen, indem er Geometrie, Erscheinung, Semantik und Bewegung in einem einheitlichen 3D-Gaussschen Modell integriert.
Wir zerlegen die Szene in statische Regionen und N starr bewegende dynamische Objekte. Jedes dynamische Objekt wird durch 3D-Gausssche Verteilungen in seinem kanonischen Raum dargestellt und dann basierend auf Transformationen, die durch ein Einrad-Modell eingeschränkt sind, in die Weltkoordinaten transformiert.
Jede 3D-Gaußsche Verteilung enthält Informationen über Erscheinung und Semantik, während der optische Fluss durch Berechnung der Bewegung des Gaussmittelpunkts erhalten werden kann, was die Renderung von RGB-Bildern, semantischen Karten und optischen Flüssen in einem einheitlichen Modell ermöglicht.
Unser Modell wird mit verrauschten 2D-Semantiklabeln, optischem Fluss und 3D-Verfolgungsergebnissen überwacht, was eine ganzheitliche Szenenanalyse allein aus RGB-Bildern ermöglicht, ohne auf LiDAR-Eingaben oder manuell annotierte 3D-Begrenzungsboxen angewiesen zu sein.
Unsere Experimente auf verschiedenen Datensätzen zeigen, dass unser Ansatz den Stand der Technik bei der Synthese neuartiger Ansichten, der Synthese neuartiger semantischer Ansichten und der 3D-semantischen Rekonstruktion übertrifft.
Thống kê
Die Bewegung der dynamischen Objekte wird durch folgende Gleichungen beschrieben:
xt+1 = xt + vt
ωt
(sin θt+1 - sin θt)
yt+1 = yt - vt
ωt
(cos θt+1 - cos θt)
θt+1 = θt + ωt
Trích dẫn
"Unser Ansatz ermöglicht die Rekonstruktion dynamischer Szenen selbst dann, wenn die 3D-Begrenzungsboxenvorhersagen sehr verrauscht sind."
"Unser Verfahren erreicht den aktuellen Stand der Technik bei der Synthese neuartiger Ansichten, der Synthese neuartiger semantischer Ansichten und der 3D-semantischen Rekonstruktion."