핵심 개념
확산 모델을 활용하여 위성 영상과 레이블 쌍을 생성하고, 이를 통해 위성 영상 의미 분할 성능을 향상시킬 수 있다.
초록
이 논문은 위성 영상 의미 분할 작업에서 데이터 부족 문제를 해결하기 위해 확산 모델을 활용하는 방법을 제안한다.
- 위성 영상 데이터셋의 이미지와 레이블 쌍의 결합 분포를 학습하는 확산 모델을 개발한다.
- 학습된 확산 모델을 활용하여 새로운 이미지-레이블 쌍을 생성하고, 이를 기존 데이터와 결합하여 의미 분할 모델 학습에 활용한다.
- 실험 결과, 생성된 데이터를 활용하여 학습한 의미 분할 모델이 기존 모델 대비 유의미한 성능 향상을 보였다.
- 특히 객체 중심 의미 분할 데이터셋인 iSAID와 토지 피복 분류 데이터셋인 LoveDA, OpenEarthMap에서 성능 향상이 관찰되었다.
- 이를 통해 확산 모델이 위성 영상 데이터 증강에 효과적으로 활용될 수 있음을 보였다.
통계
위성 영상 데이터셋 iSAID의 경우 전체 픽셀 중 97% 이상이 배경 클래스로 구성되어 클래스 불균형이 심각하다.
위성 영상 데이터셋 LoveDA와 OpenEarthMap에서는 서로 다른 지리적 맥락에서 유사한 외관을 가진 클래스들이 존재하는 어려움이 있다.
인용구
"Satellite imagery is a powerful tool to monitor the earth's surface, both in terms of specific events and global trends in land use."
"A common solution is to leverage data augmentation to increase the sample diversity and make optimal use of existing labels. However, conventional image augmentation techniques designed for object-centric data – such as flipping, rotating, and rescaling – are often insufficient to emulate the large sample diversity of satellite imagery."