Core Concepts
본 연구는 2D 또는 3D 지면 진실 데이터 없이도 다중 카메라 입력 이미지와 오프더쉘프 2D 인체 자세 추정기를 활용하여 다중 인물의 3D 자세를 추정할 수 있는 자기 지도 학습 기반 접근법을 제안한다.
Abstract
본 연구는 다중 카메라 환경에서 다중 인물의 3D 자세를 추정하는 새로운 자기 지도 학습 접근법인 SelfPose3d를 제안한다. 기존 완전 지도 학습 기반 방법과 달리, 제안 방법은 2D 또는 3D 지면 진실 자세 데이터를 필요로 하지 않는다. 대신 다중 카메라 입력 이미지와 오프더쉘프 2D 인체 자세 추정기로부터 생성된 2D 의사 자세를 활용한다.
제안 방법은 다음과 같은 핵심 구성요소를 포함한다:
3D 인물 위치 자기 지도 학습: 합성 생성된 3D 점과 해당 다중 뷰 루트 히트맵을 활용하여 3D 인물 위치를 자기 지도 학습한다.
3D 자세 자기 지도 학습: 3D 자세를 병목 표현으로 모델링하고, 이를 다중 뷰에 투영하여 2D 관절과 히트맵을 생성한다. 이를 2D 의사 자세와 비교하여 자기 지도 학습한다. 또한 어댑티브 감독 주의 메커니즘을 제안하여 부정확한 의사 레이블의 영향을 완화한다.
자기 지도 학습 손실 함수: 2D 관절 L1 손실과 2D 히트맵 L2 손실을 활용하여 3D 자세를 자기 지도 학습한다.
제안 방법은 Panoptic, Shelf, Campus 데이터셋에서 평가되었으며, 완전 지도 학습 기반 최신 방법과 유사한 성능을 달성했다. 또한 추정된 3D 자세를 활용하여 생성된 SMPL 바디 메쉬가 기하학적으로 타당한 것을 확인했다.
Stats
다중 카메라 입력 이미지와 오프더쉘프 2D 인체 자세 추정기로부터 생성된 2D 의사 자세를 활용한다.
합성 생성된 3D 점과 해당 다중 뷰 루트 히트맵을 활용하여 3D 인물 위치를 자기 지도 학습한다.
Quotes
"본 연구는 2D 또는 3D 지면 진실 데이터 없이도 다중 카메라 입력 이미지와 오프더쉘프 2D 인체 자세 추정기를 활용하여 다중 인물의 3D 자세를 추정할 수 있는 자기 지도 학습 기반 접근법을 제안한다."
"제안 방법은 다음과 같은 핵심 구성요소를 포함한다: 1) 3D 인물 위치 자기 지도 학습, 2) 3D 자세 자기 지도 학습, 3) 자기 지도 학습 손실 함수."