Core Concepts
복잡한 사전 정보와 특징 집계 메커니즘 없이도 스켈레톤 기반 동작 인식을 효과적으로 수행할 수 있다.
Abstract
이 논문은 스켈레톤 기반 동작 인식을 위한 새로운 MLP 기반 모델 SiT-MLP를 제안한다. 기존 GCN 기반 방법들은 복잡한 특징 집계 메커니즘과 사전 정보에 의존하는 한계가 있었다.
SiT-MLP는 이러한 한계를 극복하기 위해 다음과 같은 핵심 기술을 제안한다:
Spatial Topology Gating Unit (STGU): STGU는 MLP 기반 구조로, 사전 정보 없이 점-대-점 단위의 공간 토폴로지 특징을 학습한다. STGU는 입력 샘플에 따라 동적으로 특징을 선택할 수 있는 게이트 메커니즘을 도입했다.
점-대-점 공간-시간 주의 메커니즘: STGU는 채널과 시간 차원에서 독립적인 주의 메커니즘을 학습하여, 공간-시간 관계를 효과적으로 모델링할 수 있다.
사전 정보 없는 설계: SiT-MLP는 사전 정보 없이도 우수한 성능을 달성할 수 있어, 다양한 환경에 일반화될 수 있다.
실험 결과, SiT-MLP는 기존 SOTA 방법 대비 적은 파라미터로 경쟁력 있는 성능을 보였다. 이를 통해 복잡한 특징 집계 없이도 효과적인 스켈레톤 기반 동작 인식이 가능함을 입증했다.
Stats
스켈레톤 기반 동작 인식 모델은 복잡한 특징 집계 메커니즘으로 인해 많은 파라미터를 가진다.
제안한 SiT-MLP 모델은 기존 SOTA 모델 대비 파라미터 수가 60% 이상 감소했다.
Quotes
"Can we tackle the skeleton-based action recognition without any priors and complex aggregations?"
"The reason for the favorable performance of GCN-based approaches may not be the priors but the modeling of the relationships between any two joints."