단일 이미지에서 신경망 필드와 기반 모델 특징을 추출하여 3D 장면을 인식하는 DistillNeRF

Core Concepts

DistillNeRF는 제한된 2D 이미지 입력에서 풍부한 3D 장면 표현을 예측하기 위해 오프라인 NeRF 및 시각적 기반 모델에서 지식을 추출하는 자기 지도 학습 프레임워크입니다.

Abstract

DistillNeRF: 단일 이미지에서 신경망 필드와 기반 모델 특징을 추출하여 3D 장면을 인식

본 연구 논문에서는 제한된 수의 2D 이미지만으로 복잡한 3D 환경을 이해하는 데 어려움을 겪는 자율 주행 시스템의 한계를 극복하고자 합니다. 특히, 실시간 처리 요구 사항을 충족하면서 단일 시점의 다중 뷰 이미지에서 풍부한 의미 정보를 담은 3D 장면 표현을 생성하는 효율적인 자기 지도 학습 프레임워크인 DistillNeRF를 제안합니다.

DistillNeRF는 두 단계로 구성됩니다. 첫 번째 단계에서는 각 장면의 주행 로그에서 얻은 모든 다중 뷰, 다중 시점 정보를 활용하여 각 장면에 대해 개별적으로 NeRF(Neural Radiance Fields)를 훈련합니다. 두 번째 단계에서는 단일 시점에서 캡처한 다중 카메라 2D 이미지를 3D 연속 특징 필드로 직접 변환하는 일반화 가능한 인코더를 훈련합니다. 이때, 사전 훈련된 NeRF에서 생성된 고밀도 깊이 및 가상 카메라 뷰와 CLIP 또는 DINOv2와 같은 2D 기반 모델에서 추출한 특징을 사용하여 자기 지도 학습을 수행합니다.
DistillNeRF는 희소 계층적 복셀 표현, 2단계 Lift-Splat-Shoot 인코더, 매개변수화된 신경망 필드와 같은 새로운 모델 아키텍처를 사용하여 제한된 입력에서 풍부한 3D 장면 표현을 학습합니다.

Key Insights Distilled From

DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features

by Letian Wang,... at arxiv.org 11-01-2024

https://arxiv.org/pdf/2406.12095.pdf

Deeper Inquiries

LiDAR 데이터 없이 DistillNeRF를 훈련하는 방법은 무엇일까요?

DistillNeRF는 현재 사전 훈련된 EmerNeRF에서 지도를 받기 위해 LiDAR 데이터에 의존하고 있습니다. LiDAR 없이 DistillNeRF를 훈련하는 방법은 다음과 같습니다.

다른 깊이 추정 모델 활용: LiDAR 대신 스테레오 비전이나 단안 깊이 추정 모델을 사용하여 EmerNeRF 훈련에 필요한 깊이 정보를 얻을 수 있습니다. 예를 들어, ManyDepth[1], PackNet-SfM[2]과 같은 자기 지도 학습 기반 깊이 추정 모델을 사용하거나, PSMNet[3], StereoNet[4]과 같은 스테레오 비전 모델을 사용할 수 있습니다.

깊이 정보 없이 EmerNeRF 훈련: 몇몇 연구에서는 NeRF 모델을 깊이 정보 없이 훈련하는 방법을 제시하고 있습니다.[5] 이러한 방법들은 이미지의 일관성을 이용하여 3D 장면을 복원합니다. DistillNeRF 훈련에 사용되는 EmerNeRF 또한 깊이 정보 없이 훈련할 수 있도록 수정될 수 있습니다.

대체 지도 방법 활용: DistillNeRF는 EmerNeRF로부터 3D 기하 정보를 전이받는 것 외에도, 다른 형태의 지도 방법을 활용할 수 있습니다. 예를 들어, 3D 장면의 스케치, 세분화 마스크, 엣지 맵 등을 활용하여 DistillNeRF를 훈련할 수 있습니다.

새로운 자기 지도 학습 방법 고안: DistillNeRF 자체적으로 3D 기하 정보를 학습할 수 있도록 새로운 자기 지도 학습 방법을 고안할 수 있습니다. 예를 들어, 다중 시점 이미지의 일관성을 최대화하는 손실 함수를 설계하거나, 3D 공간에서의 특징 표현 학습을 유도하는 손실 함수를 설계할 수 있습니다.

참고 문헌:
[1] Li, Zhengqi, et al. "Learning depth from monocular videos using direct sparse odometry." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018.
[2] Guizilini, Vitor, et al. "3d packing for self-supervised monocular depth estimation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
[3] Chang, Jia-Ren, and Yong-Sheng Chen. "Pyramid stereo matching network." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
[4] Khamis, Sameh, et al. "Stereonet: Guided hierarchical refinement for real-time edge-aware depth prediction." European Conference on Computer Vision. Springer, Cham, 2018.
[5] Sitzmann, Vincent, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis." European Conference on Computer Vision. Springer, Cham, 2020.

DistillNeRF의 희소 복셀 표현이 모든 다운스트림 작업에 적합하지 않을 수 있는데, 이를 개선하기 위한 다른 표현 방법은 무엇일까요?

DistillNeRF의 희소 복셀 표현은 메모리 효율성이 뛰어나지만, 3D 공간의 표현 능력에 제한이 있어 일부 다운스트림 작업에 적합하지 않을 수 있습니다. 이를 개선하기 위한 다른 표현 방법은 다음과 같습니다.

하이브리드 표현: 저해상도의 밀집 복셀과 고해상도의 희소 복셀을 결합한 하이브리드 표현을 사용할 수 있습니다. 이를 통해 가까운 영역은 세밀하게, 먼 영역은 효율적으로 표현할 수 있습니다. 예를 들어, Octree 기반으로 가까운 영역은 높은 레벨의 복셀로, 먼 영역은 낮은 레벨의 복셀로 표현할 수 있습니다.

Gaussian Splatting: 최근 3D Gaussian Splatting (3DGS) [1] 기법이 제안되어 높은 품질의 3D 장면을 효율적으로 표현할 수 있게 되었습니다. DistillNeRF에서도 희소 복셀 대신 3DGS를 사용하여 3D 장면을 표현할 수 있습니다. 3DGS는 점 집합으로 장면을 표현하며, 각 점은 위치, 색상, 방향, 크기 등의 속성을 가진 Gaussian 분포로 나타냅니다.

Implicit Neural Representation: NeRF와 유사하게 3D 공간을 연속 함수로 표현하는 Implicit Neural Representation (INR) [2]을 사용할 수 있습니다. INR은 좌표를 입력으로 받아 해당 위치의 특징을 출력하는 신경망으로 구성됩니다. DistillNeRF에서도 희소 복셀 대신 INR을 사용하여 3D 장면을 표현할 수 있습니다.

Mesh Representation: 3D 모델링에 널리 사용되는 메쉬 표현을 사용할 수 있습니다. 메쉬는 삼각형이나 사각형과 같은 다각형으로 구성되며, DistillNeRF에서 예측한 3D 정보를 기반으로 메쉬를 생성할 수 있습니다. 메쉬 표현은 렌더링 속도가 빠르고 표면 정보를 직접적으로 나타낼 수 있다는 장점이 있습니다.

Adaptive Data Structures: 3D 공간의 특징 분포에 따라 데이터 구조를 동적으로 조절하는 Adaptive Data Structures를 사용할 수 있습니다. 예를 들어, Octree, Kd-tree, BSP tree 등을 사용하여 데이터의 분포에 따라 효율적으로 3D 공간을 분할하고 표현할 수 있습니다.

어떤 표현 방법을 선택할지는 다운스트림 작업의 특성과 계산 자원의 제약 등을 고려하여 결정해야 합니다.
참고 문헌:
[1] Kerbl, Bernhard, et al. "3d gaussian splatting for real-time radiance field rendering." ACM Transactions on Graphics (TOG) 42.4 (2023): 1-14.
[2] Park, Jeong Joon, et al. "DeepSDF: Learning continuous signed distance functions for shape representation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019.

DistillNeRF에서 학습된 3D 장면 표현을 활용하여 자율 주행 시스템의 계획 및 의사 결정 능력을 향상시킬 수 있을까요?

네, DistillNeRF에서 학습된 3D 장면 표현은 자율 주행 시스템의 계획 및 의사 결정 능력을 향상시키는 데 활용될 수 있습니다.
1. 정확하고 풍부한 주변 환경 인지:

3D Occupancy Map: DistillNeRF는 3D 공간 상의 점유 정보를 나타내는 3D Occupancy Map 생성에 활용될 수 있습니다. 이는 주행 가능 영역과 장애물을 구분하는 데 유용하며, 더욱 안전하고 효율적인 경로 계획을 가능하게 합니다.
Semantic Segmentation: DistillNeRF는 3D 장면의 의미론적 정보를 학습할 수 있습니다. 이를 통해 차량, 보행자, 도로, 신호등과 같은 객체들을 구분하고, 각 객체의 3D 위치 및 속성 정보를 파악하여 더욱 정확하고 안전한 주행 상황 판단을 가능하게 합니다.
Depth Completion: DistillNeRF는 단안 카메라 이미지만으로도 정확한 깊이 정보를 예측할 수 있습니다. 이는 LiDAR 센서의 단점을 보완하고, 저렴한 센서 구성만으로도 자율 주행 시스템을 구축할 수 있도록 합니다.
2. 예측 기반 의사 결정 및 제어:

미래 예측: DistillNeRF는 시간적 정보를 포함하도록 확장될 수 있습니다. 이를 통해 주변 객체의 움직임을 예측하고, 미래 시점의 3D 장면을 예상하여 더욱 안전하고 효율적인 경로 계획 및 의사 결정을 가능하게 합니다.
다양한 주행 시나리오 생성: DistillNeRF를 활용하여 다양한 주행 환경 및 시나리오를 가상으로 생성하고, 이를 통해 자율 주행 시스템을 학습하고 검증할 수 있습니다.
3. 효율적인 학습 및 연산:

Single Forward Pass: DistillNeRF는 단일 Forward Pass로 3D 장면 표현을 생성하므로, 실시간 자율 주행 시스템에 적용하기 용이합니다.
경량화 모델: DistillNeRF는 경량화 모델로 압축될 수 있으며, 이는 자율 주행 차량과 같은 제한된 연산 자원을 가진 플랫폼에서도 효율적으로 동작할 수 있도록 합니다.
결론적으로, DistillNeRF는 자율 주행 시스템이 주변 환경을 더욱 정확하고 풍부하게 인지하고, 예측 기반으로 더욱 안전하고 효율적인 계획 및 의사 결정을 내릴 수 있도록 지원할 수 있습니다.