이 연구는 기존 이미지 매칭 작업과는 달리 동일하지 않은 객체 간 매칭을 다룬다. 동일한 객체가 아니더라도 유사한 객체는 실생활에서 많이 존재한다. 예를 들어 개와 고양이, 같은 모델의 자동차 등이 있다. 이러한 비동일한 객체 간 매칭은 객체의 클래스 차이, 도메인 변화 등으로 인해 기존 매칭 방법으로는 어려움이 있다.
이 연구에서는 객체 탐지기와 시각적 설명 모델을 활용하여 기존 특징 매칭 모델의 성능을 향상시키는 간단한 가중치 모듈을 제안한다. 객체 탐지기로 객체를 찾고, 시각적 설명 모델로 객체의 중요도 맵을 생성한다. 이 중요도 맵을 이용해 특징 기술자에 가중치를 부여함으로써, 객체 간 매칭을 강화한다.
실험 결과, 제안 방법은 다양한 비동일한 객체 쌍에 대해 기존 매칭 모델보다 우수한 성능을 보였다. 또한 이미지 훼손에 대한 강건성도 향상되었다. 특히 객체와 배경의 구분이 명확해져 부적절한 매칭이 감소하였다. 다만 객체의 구조적 차이가 크거나 중요도 맵이 객체 전체를 포함하지 못하는 경우 한계가 있었다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Yusuke Marum... kl. arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.08227.pdfDybere Forespørgsler