이 논문은 효율적인 지원 정보 활용을 위한 하이브리드 마바 네트워크(HMNet)를 제안한다.
기존 접근법들은 쿼리 특징과 지원 특징을 단순히 연결하거나 어텐션을 사용하여 융합하였지만, 이는 정보 손실 또는 계산 복잡도 증가 문제가 있었다. 이에 저자들은 효율적인 마바(Mamba) 모듈을 활용하여 이러한 문제를 해결하고자 하였다.
구체적으로 HMNet은 다음과 같은 두 가지 핵심 모듈을 포함한다:
지원 정보 재활용 마바(Support Recapped Mamba, SRM): 쿼리 특징을 스캔하는 동안 지원 특징을 주기적으로 다시 스캔하여 은닉 상태에 충분한 지원 정보를 유지한다.
쿼리 정보 차단 마바(Query Intercepted Mamba, QIM): 쿼리 픽셀 간 상호작용을 차단하여 각 쿼리 픽셀이 지원 정보를 더 많이 활용하도록 한다.
이를 통해 지원 정보의 효과적인 활용이 가능해져 Few-Shot Segmentation 성능이 향상된다. 실험 결과, HMNet은 기존 최신 모델들을 최대 3.2%p 상회하는 성능을 보였다.
إلى لغة أخرى
من محتوى المصدر
arxiv.org
الرؤى الأساسية المستخلصة من
by Qianxiong Xu... في arxiv.org 10-01-2024
https://arxiv.org/pdf/2409.19613.pdfاستفسارات أعمق