SemGauss-SLAM은 3D 가우시안 표현에 의미론적 특징 임베딩을 통합하여 정확한 3D 의미론적 매핑, 강건한 카메라 추적 및 고품질 렌더링을 실시간으로 달성한다.
첫째, 3D 가우시안 표현에 의미론적 특징 임베딩을 통합하여 환경의 공간적 배치 내에 의미론적 정보를 효과적으로 인코딩한다. 이를 통해 정밀한 의미론적 장면 표현을 달성한다.
둘째, 3D 가우시안 표현 업데이트를 위한 특징 수준 손실 함수를 제안하여 3D 가우시안 최적화를 위한 상위 수준의 지침을 제공한다.
셋째, 의미론적 연관성을 활용한 의미론적 정보 번들 조정을 도입하여 카메라 자세와 3D 가우시안 표현의 결합 최적화를 수행한다. 이를 통해 누적 드리프트를 줄이고 일관된 매핑을 달성한다.
실험 결과, SemGauss-SLAM은 Replica 및 ScanNet 데이터셋에서 기존 밀집 의미론적 SLAM 방법보다 매핑 및 추적 정확도가 우수하며, 의미론적 새 뷰 합성 및 3D 의미론적 매핑 기능도 탁월한 성능을 보인다.
Na inny język
z treści źródłowej
arxiv.org
Głębsze pytania