核心概念
W-HMR은 카메라 보정, 지역 인체 복원, 전역 인체 방향 수정을 통해 세계 좌표계에서 정확하고 합리적인 인체 복원을 달성합니다.
摘要
W-HMR은 인체 복원 작업을 카메라 보정, 지역 인체 복원, 전역 인체 방향 수정의 세 부분으로 분리합니다.
- 약한 감독 카메라 보정 방법:
- 초점 거리 레이블 없이도 인체 왜곡 정보를 활용하여 합리적인 초점 거리를 예측할 수 있습니다.
- 이를 통해 메시-이미지 정렬을 개선하고 2D 감독을 더 정확하게 만들어 복원 정확도를 높입니다.
- 기존 방법보다 성능이 우수합니다.
- 방향 수정 모듈:
- 기존 방법들이 세계 좌표계에서 비현실적인 자세를 생성하는 문제를 해결합니다.
- 인체 자세와 방향을 분리하여 카메라 좌표계의 정확도와 세계 좌표계의 합리성을 동시에 고려할 수 있습니다.
- 분리 접근:
- 카메라 매개변수 예측 오류가 모델 학습 및 추론 중에 누적되는 것을 방지합니다.
- 이를 통해 두 좌표계에서 모두 뛰어난 복원 결과를 달성할 수 있습니다.
統計資料
세계 좌표계에서 W-HMR은 W-MPJPE 118.7, PA-MPJPE 66.6, W-PVE 133.9를 달성하여 기존 방법을 크게 능가합니다.
카메라 좌표계에서 W-HMR은 AGORA 데이터셋에서 NMVE 68.7, NMJE 77.7, MVE 61.8, MPJPE 69.9를 달성하여 가장 우수한 성능을 보입니다.
引述
"W-HMR은 카메라 보정, 지역 인체 복원, 전역 인체 방향 수정을 통해 세계 좌표계에서 정확하고 합리적인 인체 복원을 달성합니다."
"W-HMR은 초점 거리 레이블 없이도 인체 왜곡 정보를 활용하여 합리적인 초점 거리를 예측할 수 있습니다."
"W-HMR은 인체 자세와 방향을 분리하여 카메라 좌표계의 정확도와 세계 좌표계의 합리성을 동시에 고려할 수 있습니다."