본 연구 논문에서는 원격 감지 이미지와 텍스트 간의 의미론적 차이를 해소하기 위해 전역 및 지역 정보를 모두 활용하는 새로운 교차 모달 사전 정렬 방법인 CMPAGL을 제안합니다.
본 연구의 주요 목표는 원격 감지 이미지와 텍스트 데이터 간의 복잡한 관계를 효과적으로 모델링하여 검색 정확도를 향상시키는 것입니다.
CMPAGL은 이미지 인코더, 텍스트 인코더, 다중 모달 인코더의 세 가지 주요 구성 요소로 이루어져 있습니다.
이미지 인코더: 이미지에서 다중 스케일 특징을 효과적으로 추출하기 위해 전역 및 지역 윈도우 attention을 기반으로 하는 새로운 Gswin 트랜스포머 블록을 설계했습니다. Gswin은 상단 및 하단 분기를 통해 서로 다른 지역 윈도우 내용과 동일한 전역 윈도우에 대해 attention을 수행합니다. 이를 통해 원격 감지 이미지의 전역 의미 정보와 지역 세부 정보를 효과적으로 융합하여 심층 특징 표현을 추출합니다.
텍스트 인코더: 텍스트 특징을 정확하게 캡처하기 위해 Masked Language Model (MLM)이 있는 BERT 모델을 텍스트 인코더로 채택했습니다. CMPAGL 아키텍처 내에서 MLM은 단어 가림 추론을 위해 이미지 정보를 완전히 활용하여 일치하는 텍스트 및 이미지 특징 간의 유사성을 향상시켜 모달 간의 의미적 차이를 더욱 줄입니다.
다중 모달 인코더: 다중 모달 인코더에 입력하기 전에 이미지 및 텍스트 특징을 사전 정렬하여 시각 및 텍스트 특징을 더 잘 정렬하여 효율적인 모달 융합을 용이하게 하고 두 모달 간의 의미적 차이를 완화합니다. 사전 정렬 후, 정렬된 시각적 특징과 텍스트 특징을 다중 모달 인코더에 공동으로 입력하여 모달 간 교차 attention을 수행하고 모달 정보를 완전히 통합합니다.
네 개의 공개적으로 사용 가능한 원격 감지 이미지-텍스트 데이터 세트(RSICD, RSITMD, UCM-Captions 및 Sydney-Captions)에 대한 광범위한 실험을 통해 제안된 CMPAGL 방법이 최첨단 접근 방식에 비해 우수한 성능을 보인다는 것을 입증했습니다. 예를 들어, RSITMD 데이터 세트에서 평균 재현율(mR)이 2.28% 증가했으며 R@1에서 4.65%의 상당한 개선을 달성했습니다.
본 연구는 원격 감지 이미지-텍스트 검색 작업에서 교차 모달 사전 정렬 및 전역-지역 정보 융합의 중요성을 강조합니다. 제안된 CMPAGL 방법은 이러한 측면을 효과적으로 해결하여 검색 정확도를 크게 향상시킵니다.
본 연구는 원격 감지 이미지-텍스트 검색을 위한 유망한 방향을 제시하지만 몇 가지 제한 사항이 있습니다. 첫째, CMPAGL 모델은 상대적으로 많은 수의 매개변수를 사용하므로 계산 복잡성이 증가합니다. 둘째, 본 연구에서는 이미지와 텍스트 간의 의미적 차이를 해결하는 데 중점을 두었지만 원격 감지 이미지의 기하학적 정보와 같은 다른 중요한 요소는 고려하지 않았습니다.
향후 연구에서는 모델의 계산 효율성을 개선하기 위해 매개변수 효율적인 아키텍처를 탐구할 수 있습니다. 또한 원격 감지 이미지의 기하학적 정보와 시공간 정보를 통합하여 검색 정확도를 더욱 향상시킬 수 있습니다.
לשפה אחרת
מתוכן המקור
arxiv.org
שאלות מעמיקות