Temel Kavramlar
LMFNet은 RGB, NirRG, DSM 등 다양한 데이터 유형을 동시에 수용하고 효과적으로 융합하여 의미 분할 성능을 향상시킬 수 있는 경량 다중 모달 융합 네트워크이다.
Özet
이 논문은 고해상도 원격 탐사 이미지의 의미 분할을 위해 다중 모달 데이터(RGB, NirRG, DSM)를 효과적으로 융합하는 LMFNet을 제안한다. LMFNet은 다음과 같은 특징을 가지고 있다:
가중치 공유 다중 브랜치 비전 트랜스포머를 사용하여 다양한 데이터 유형을 동시에 수용할 수 있으며, 파라미터 수를 최소화하면서도 강력한 특징 추출이 가능하다.
다중 모달 특징 융합 재구성 레이어와 다중 모달 특징 자기 주의 융합 레이어로 구성된 새로운 다중 모달 융합 모듈을 제안하여, 다중 모달 특징을 효과적으로 재구성하고 융합할 수 있다.
US3D, ISPRS Potsdam, ISPRS Vaihingen 데이터셋에 대한 실험 결과, LMFNet은 기존 방법 대비 높은 성능을 보였다. 특히 US3D 데이터셋에서 85.09%의 mIoU를 달성하여 기존 방법 대비 10% 향상된 성능을 보였다.
단일 모달 방법 대비 0.5M의 파라미터 증가만으로 mIoU를 10% 향상시켰으며, 이중 모달 방법 대비에도 0.46%p 향상된 성능을 보였다.
이를 통해 LMFNet은 확장성, 정확성, 효율성이 우수하여 원격 탐사 이미지 분석 분야에 널리 활용될 수 있을 것으로 기대된다.
İstatistikler
단일 모달 방법 대비 mIoU가 10% 향상되었다.
이중 모달 방법 대비 mIoU가 0.46%p 향상되었다.
파라미터 수는 단일 모달 방법 대비 0.5M 증가하였다.
Alıntılar
"LMFNet은 RGB, NirRG, DSM 등 다양한 데이터 유형을 동시에 수용하고 효과적으로 융합할 수 있다."
"LMFNet은 US3D 데이터셋에서 85.09%의 mIoU를 달성하여 기존 방법 대비 10% 향상된 성능을 보였다."
"LMFNet은 단일 모달 방법 대비 0.5M의 파라미터 증가만으로 mIoU를 10% 향상시켰으며, 이중 모달 방법 대비에도 0.46%p 향상된 성능을 보였다."