Core Concepts
통합 BEV 인코더를 사용하여 카메라와 LiDAR 모달리티 간 정렬된 BEV 특징을 생성하고, 채널 정규화 가중치 기반 융합을 통해 센서 모달리티 누락에 강인한 3D 객체 탐지 모델을 제안한다.
Abstract
이 논문은 센서 모달리티 누락에 강인한 다중 모달 3D 객체 탐지 모델인 UniBEV를 제안한다.
- 기존 방법들은 카메라와 LiDAR 모달리티의 BEV 특징을 서로 다른 방식으로 추출하여 융합하였지만, UniBEV는 통일된 BEV 인코더를 사용하여 모달리티 간 정렬된 BEV 특징을 생성한다.
- 융합 방식으로 채널 정규화 가중치(CNW)를 제안하였는데, 이는 모달리티 누락 시에도 의미 있는 융합 결과를 제공한다.
- 실험 결과, UniBEV는 모달리티 누락 상황에서 기존 방법들보다 우수한 성능을 보였다.
Stats
모든 센서 입력 조합에 대한 평균 mAP는 52.5%로, BEVFusion의 43.5% 및 MetaBEV의 48.7%보다 크게 향상되었다.
LiDAR+카메라 입력에 대해 UniBEV는 64.2% mAP를 달성하였다.
카메라 단일 입력에 대해 UniBEV는 35.0% mAP를 달성하여, BEVFusion의 22.6%보다 크게 개선되었다.
Quotes
"UniBEV는 센서 모달리티 누락에 강인한 다중 모달 3D 객체 탐지 모델을 제안한다."
"UniBEV는 통일된 BEV 인코더를 사용하여 모달리티 간 정렬된 BEV 특징을 생성하고, 채널 정규화 가중치 기반 융합을 통해 모달리티 누락에 강인한 성능을 달성한다."