핵심 개념
제안된 SPDP-Net은 개인 간 시공간적 근접성을 활용하여 복잡한 파노라믹 장면에서의 사회적 역학관계를 정확하게 모델링하고, 개인-사회-전체 활동 간 상호 보완적인 관계를 학습함으로써 우수한 파노라믹 활동 인식 성능을 달성한다.
초록
이 논문은 파노라믹 활동 인식(PAR) 문제를 다룬다. PAR은 개인 행동, 사회적 그룹 활동, 전체 장면 활동을 모두 인식하는 것을 목표로 한다.
제안된 SPDP-Net은 두 단계로 구성된다:
- 근접성 기반 관계 인코딩 단계
- 개인 간 시공간적 근접성을 고려하여 개인 특징을 강화하고, 이를 통해 사회적 관계를 정확하게 모델링한다.
- 시간 일반화 IoU(TGIoU)를 활용하여 개인 간 시공간적 근접성을 측정한다.
- 개인 간 시각적 유사성과 시공간적 근접성을 결합한 사회적 관계 행렬을 구축한다.
- 다중 수준 활동 인식 단계
- 개인-전체 경로와 개인-사회 경로로 구성된 이중 경로 활동 변환기(DPATr)를 통해 개인, 사회 그룹, 전체 활동 간 상호 보완적인 관계를 학습한다.
- DPATr는 개인 특징을 활용하여 전체 장면 및 사회 그룹 활동을 동시에 인식하며, 다중 레이어를 통해 상호 강화한다.
실험 결과, SPDP-Net은 기존 최신 방법 대비 파노라믹 활동 인식 성능을 크게 향상시켰다. 특히 사회 그룹 활동 인식에서 큰 성능 향상을 보였다.
통계
파노라믹 장면에서 개인 간 시공간적 근접성은 사회적 관계 이해에 매우 중요하다.
개인, 사회 그룹, 전체 활동 간 상호 보완적인 관계를 학습하는 것이 파노라믹 활동 인식에 핵심적이다.
인용구
"To address these problems, we propose a novel network, called Social Proximity-aware Dual-Path Network (SPDP-Net)."
"Notably, SPDP-Net significantly outperforms the state-of-the-art methods by a large margin, achieving 46.5% of an overall F1 score for activity recognition and 56.4% of IoU@0.5 for social group detection."