Khái niệm cốt lõi
제안된 SPDP-Net은 개인 간 시공간적 근접성을 고려하여 사회적 관계를 정확하게 모델링하고, 개인-전역-사회 활동 간 상호 보완적인 관계를 학습함으로써 파노라믹 활동 인식 성능을 향상시킨다.
Tóm tắt
이 논문은 파노라믹 활동 인식(PAR) 문제를 다룬다. PAR은 개인 행동, 사회적 그룹 활동, 전역적 활동을 모두 인식하는 것을 목표로 한다.
제안된 SPDP-Net은 두 단계로 구성된다:
- 근접성 기반 관계 인코딩 단계
- 개인 간 시공간적 근접성을 고려하여 개인 특징을 보강한다.
- 시공간적 유사도와 근접성을 이용하여 사회적 관계를 모델링한다.
- 다중 수준 활동 인식 단계
- Dual-Path Activity Transformer (DPATr)를 통해 개인-전역, 개인-사회 활동 간 상호작용을 학습한다.
- 개인, 사회적 그룹, 전역 활동을 동시에 인식한다.
실험 결과, SPDP-Net은 기존 최신 방법들을 크게 능가하는 성능을 보였다. 개인 행동 인식에서 51.8%, 사회적 그룹 활동 인식에서 34.2%, 전역 활동 인식에서 53.5%의 F1 점수를 달성했다. 또한 사회적 그룹 검출에서도 56.4%의 IoU@0.5 성능을 보였다.
Thống kê
개인 행동 인식에서 SPDP-Net은 59.4%의 정밀도, 49.7%의 재현율, 51.8%의 F1 점수를 달성했다.
사회적 그룹 활동 인식에서 SPDP-Net은 36.5%의 정밀도, 34.8%의 재현율, 34.2%의 F1 점수를 달성했다.
전역 활동 인식에서 SPDP-Net은 63.4%의 정밀도, 48.8%의 재현율, 53.5%의 F1 점수를 달성했다.
사회적 그룹 검출에서 SPDP-Net은 56.4%의 IoU@0.5, 42.5%의 IoU@AUC, 34.3%의 Mat.IoU를 달성했다.
Trích dẫn
"개인 간 공간적 근접성만을 고려하는 것은 충분하지 않다. 시간에 따른 개인의 위치 변화를 고려하는 것이 중요하다."
"개인, 사회적 그룹, 전역 활동 간 상호 보완적인 관계를 학습하는 것이 중요하다."