이 논문은 마커리스 모바일 AR에서 절대 포즈 추정의 정확성과 강건성을 향상시키기 위한 키프레임 선택 기법을 제안한다.
절대 포즈 회귀(APR) 방법은 단일 모노크롬 이미지로부터 6자유도 카메라 포즈를 직접 추정하는 엔드-투-엔드 기계 학습 솔루션이다. APR 방법은 계산 비용이 낮아 모바일 AR 기기에서 직접 실행할 수 있지만, 학습 데이터셋과 크게 다른 입력 이미지에 대해서는 정확도가 크게 떨어진다는 단점이 있다.
제안하는 KS-APR 파이프라인은 APR의 예측 포즈와 학습 데이터셋의 유사성을 평가하여 신뢰할 수 있는 포즈 추정치만을 선별한다. 모바일 AR 시스템은 시각-관성 항법(VIO)을 사용하여 기기의 상대 포즈를 추적하므로, KS-APR은 신뢰성을 우선시하여 신뢰할 수 없는 포즈 추정치를 제거한다.
KS-APR 파이프라인은 APR 모델에 독립적이며, 기존 APR 모델에 최소한의 계산 및 저장 오버헤드로 통합할 수 있다. 실험 결과, KS-APR은 기존 SOTA 단일 이미지 APR 모델인 DFNetdm의 정확도를 7Scenes 데이터셋에서 최대 28.6%의 위치 오차와 22%의 방향 오차 감소로 개선하였으며, 일부 장면에서 큰 오차를 완전히 제거하였다.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések