이 연구는 지리공간 분석에서 다양한 원격 센서 기술(광학, 마이크로웨이브)의 통합 활용 방안을 제시한다. 기존 연구들은 주로 단일 센서 모달리티에 초점을 맞추었지만, 이 연구에서는 4가지 주요 센서 모달리티(RGB, Sentinel-2, SAR, DSM)를 통합한 다중 센서 지리공간 기반 모델(msGFM)을 개발하였다.
msGFM은 대규모 다중 센서 데이터셋(200만 장 이상)을 활용하여 사전 학습되었다. 이 모델은 센서 간 정합된 데이터와 비정합 데이터를 모두 효과적으로 다룰 수 있다. 정합 데이터의 경우 마스크 이미지 모델링 기법을 통해 다양한 센서 간 공동 표현을 학습할 수 있다.
이 모델은 다양한 지리공간 하류 작업(장면 분류, 분할, 구름 제거, 팬-샤프닝)에서 우수한 성능을 보였다. 특히 구름 제거 작업에서는 기존 모델들을 크게 능가하는 결과를 보였다. 이는 SAR 데이터의 활용이 핵심적인 역할을 했기 때문이다.
또한 자연 이미지에서 학습된 표현이 지리공간 원격 센서 데이터의 고유한 특성을 충분히 반영하지 못한다는 점을 발견했다. 이는 지리공간 도메인에 특화된 기반 모델의 필요성을 시사한다.
이 연구는 다중 센서 지리공간 사전 학습 모델 개발을 위한 지침을 제공하며, 보다 발전된 지리공간 분석 기능을 위한 기반을 마련할 것으로 기대된다.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問