核心概念
대형 비전 모델을 활용하여 강건하고 정확한 온라인, 타겟 없는 LiDAR-카메라 외부 보정을 달성한다.
要約
이 연구는 온라인, 타겟 없는 LiDAR-카메라 외부 보정 문제를 해결하기 위해 대형 비전 모델(LVM)의 잠재력을 활용한다. 제안하는 MIAS-LCEC 알고리즘은 정밀한 외부 매개변수 추정을 위해 새로운 단계적 접근법을 사용한다. 먼저 가상 카메라를 도입하여 LiDAR 포인트 클라우드를 카메라 관점으로 투영하고, 이를 통해 LiDAR 강도 투영(LIP) 이미지를 생성한다. 그 다음 LIP 이미지와 RGB 이미지를 MobileSAM이라는 최신 LVM을 사용하여 분할한다. 이렇게 얻은 분할 결과를 바탕으로 새로운 크로스-모달 마스크 매칭(C3M) 알고리즘을 통해 신뢰할 수 있는 대응점을 생성한다. 마지막으로 이 대응점들을 PnP 솔버의 입력으로 사용하여 외부 매개변수를 추정한다. 또한 이 연구에서는 온라인, 타겟 없는 보정, 오프라인 타겟 기반 보정, 수동 보정 기능을 모두 포함하는 강력한 툴박스와 대화형 시각화 인터페이스를 제공한다. 다양한 실내 및 실외 환경에서 수집한 3개의 실제 데이터셋을 통해 제안 방법의 성능을 평가한 결과, 기존 최신 기법들에 비해 강건성과 정확성이 크게 향상된 것을 확인할 수 있었다.
統計
LiDAR 포인트 클라우드와 RGB 이미지의 대응점 간 평균 재투영 오차는 약 1픽셀 수준이다.
LiDAR와 카메라 센서 간 외부 매개변수 추정 오차는 회전의 경우 평균 0.45도, 이동의 경우 평균 0.06m 수준이다.
引用
"대형 비전 모델(LVM)은 컴퓨터 비전과 로봇 공학 분야에서 새로운 주목을 받고 있는 추세이다."
"제안하는 MIAS-LCEC 알고리즘은 기존 최신 기법들에 비해 강건성과 정확성이 크게 향상되었다."