본 논문에서는 최근 각광받는 Mamba, RWKV, Griffin 등의 게이트형 선형 RNN 아키텍처를 암시적 인과적 자기 어텐션 레이어로서 통합된 관점에서 분석하고, 이를 통해 이러한 모델들의 작동 방식에 대한 설명 가능성을 높이고자 합니다.
