Główne pojęcia
다중 스케일 변형 가능 트랜스포머 모델인 SOFI는 선 기하 정보와 선 내용 정보를 활용하여 기존 방법보다 향상된 카메라 보정 성능을 달성한다.
Streszczenie
이 연구는 카메라 보정을 위한 새로운 신경망 모델인 SOFI를 제안한다. SOFI는 다음과 같은 특징을 가진다:
- 선 쿼리에 선 기하 정보와 선 내용 정보를 모두 활용하여 트랜스포머 모델의 성능을 향상시킨다. 이를 통해 변형 가능 주의 메커니즘을 사용할 수 있게 된다.
- 선 분류 함수를 개선하고 손실 함수의 계수를 조정하여 카메라 매개변수 추정에 더 큰 비중을 둔다.
- 새로운 프레임워크를 제안하여 기존 최신 기술 대비 향상된 성능을 달성한다.
실험 결과, SOFI는 Google Street View, Horizon Line in the Wild, Holicity 데이터셋에서 기존 방법보다 우수한 성능을 보였으며, 동시에 경쟁력 있는 추론 속도를 유지한다.
Statystyki
지평선 오차가 0.10, 0.15, 0.25일 때 Google Street View 데이터셋의 AUC가 각각 70.32%, 79.84%, 87.87%이다.
지평선 오차가 0.10, 0.15, 0.25일 때 Holicity 데이터셋의 AUC가 각각 59.83%, 72.05%, 82.96%이다.
SOFI의 추론 속도는 초당 21.6 프레임으로, CTRL-C와 MSCC 모델과 비슷한 수준이다.