Concepts de base
의미 정보만을 이용하여 3D 장면을 재구성할 수 있음을 보여준다.
Résumé
이 연구는 암시적 3D 표현과 의미 정보를 결합한 최근 연구인 Semantic-NeRF를 확장하여, RGB 출력 부분을 제거하고 의미 출력에만 집중하는 방법을 제안한다. 기존 Semantic-NeRF 모델의 훈련 절차를 수정하여 모델의 의미 출력과 ground truth 의미 이미지 간 교차 엔트로피 손실만을 사용하도록 하였다. 이를 통해 기존 Semantic-NeRF와 동일한 실험 조건에서 비교 실험을 수행하였다. 실험 결과, 의미 정보만을 이용해서도 장면 이해, 객체 탐지, 분할 등의 작업에서 유사한 성능을 보였다. 이는 의미 정보 중심의 3D 장면 이해에 대한 새로운 접근법을 제시한다.
Stats
의미 정보만을 이용해서도 Semantic-NeRF와 유사한 수준의 의미 뷰 합성 성능을 보였다. (MIoU 0.973, 총 정확도 0.996, 평균 정확도 0.986)
10%의 의미 키프레임만을 사용해도 Semantic-NeRF와 유사한 성능을 보였다. (MIoU 0.886, 총 정확도 0.983, 평균 정확도 0.930)
50%와 90%의 픽셀 단위 노이즈에 대해서도 Semantic-NeRF와 유사한 수준의 디노이징 성능을 보였다. (50% 노이즈: MIoU 0.959, 총 정확도 0.994, 평균 정확도 0.975 / 90% 노이즈: MIoU 0.869, 총 정확도 0.987, 평균 정확도 0.898)
희소 레이블과 밀집 레이블에 대한 8배 및 16배 슈퍼 해상도 복원에서도 Semantic-NeRF와 유사한 성능을 보였다.
Citations
"의미 정보만을 이용하여 3D 장면을 재구성할 수 있음을 보여준다."
"의미 정보 중심의 3D 장면 이해에 대한 새로운 접근법을 제시한다."