核心概念
기존 트랜스포머 기반 초분광 영상 변화 감지 방법의 단점을 해결하기 위해 전역 및 지역 주의 모듈(GLAM)과 교차 게이트 피드포워드 네트워크(CGFN)를 통합한 새로운 모델인 GLAFormer를 제안하여, 저주파 및 고주파 신호를 모두 효과적으로 활용하여 변화 감지 정확도를 향상시켰습니다.
要約
GLAFormer: 전역 및 지역 주의 기반 트랜스포머를 활용한 초분광 영상 변화 감지
본 연구 논문에서는 초분광 영상(HSI) 변화 감지를 위한 새로운 딥러닝 모델인 GLAFormer를 제안합니다. GLAFormer는 기존 트랜스포머 기반 방법의 한계점을 극복하기 위해 전역 및 지역 주의 메커니즘을 통합하여 보다 포괄적인 공간-스펙트럼 특징 표현을 학습합니다.
본 연구의 목표는 기존 트랜스포머 기반 초분광 영상 변화 감지 모델의 지역적 특징 표현 학습 능력 부족 및 비선형 특징 변환 제한 문제를 해결하여, 보다 정확하고 강력한 변화 감지 성능을 달성하는 것입니다.
GLAFormer는 크게 두 가지 핵심 모듈로 구성됩니다.
1. 전역 및 지역 주의 모듈 (GLAM)
GLAM은 입력 영상의 저주파 및 고주파 신호를 모두 효과적으로 인코딩하기 위해 전역 주의 및 지역 주의 브랜치를 사용합니다.
전역 주의 브랜치는 풀링된 특징 맵에 주의 메커니즘을 적용하여 저주파 정보를 캡처합니다.
지역 주의 브랜치는 겹치지 않는 윈도우 기반 지역 주의를 사용하여 고주파 정보를 인코딩합니다.
두 브랜치의 출력은 연결되어 보다 풍부한 특징 표현을 생성합니다.
2. 교차 게이트 피드포워드 네트워크 (CGFN)
CGFN은 트랜스포머 내에서 비선형 특징 변환을 향상시키기 위해 게이팅 메커니즘과 다중 스케일 컨볼루션을 기존 피드포워드 네트워크에 통합합니다.
CGFN은 두 개의 병렬 경로로 구성되며, 각 경로에서 다양한 커널 크기의 깊이별 컨볼루션을 사용하여 다중 스케일 특징을 추출합니다.
게이팅 메커니즘은 각 경로에서 덜 중요한 특징을 필터링하고, 유용한 특징은 다른 경로의 원래 특징과 융합됩니다.
두 경로의 융합된 특징은 요소별 합산을 통해 결합되어 최종 출력을 생성합니다.