이 논문은 초분광 초해상도를 위한 새로운 Exhaustive Correlation Transformer(ECT) 모델을 제안한다. 초분광 영상(HSI)은 다양한 스펙트럼 채널을 가지고 있어 RGB 영상보다 상세한 스펙트럼 정보를 제공할 수 있지만, HSI 획득이 어려운 문제가 있다. 초분광 초해상도는 이를 해결하기 위해 RGB 영상에서 HSI를 복원하는 기술이다.
기존 Transformer 기반 방법들은 공간 또는 스펙트럼 상관관계 중 하나에만 초점을 맞추거나 이를 별도의 모듈로 처리하여 HSI의 3D 특성을 충분히 활용하지 못했다. 또한 기존 self-attention 메커니즘은 토큰 간 완전 순위 상관관계 행렬을 학습하여 HSI에 널리 존재하는 선형 종속성을 모델링하지 못했다.
이를 해결하기 위해 ECT는 다음과 같은 핵심 기술을 제안한다:
실험 결과, ECT는 기존 최신 방법 대비 가장 낮은 오차와 계산량, 추론 지연 시간을 달성했다. 이는 ECT가 HSI의 통합된 공간-스펙트럼 상관관계와 선형 종속성을 효과적으로 모델링할 수 있음을 보여준다.
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Hongyuan Wan... : arxiv.org 03-19-2024
https://arxiv.org/pdf/2312.12833.pdfDaha Derin Sorular