Core Concepts
단일 RGB-D 이미지에서 픽셀-볼륨 정렬 내재 모델을 학습하여 전례 없는 수준의 정확도와 세부 묘사로 인체 모델을 재구성한다.
Abstract
이 논문은 단일 RGB-D 이미지에서 고품질의 인체 모델을 재구성하는 ANIM이라는 새로운 방법을 제안한다. ANIM은 다음과 같은 핵심 특징을 가진다:
다중 해상도의 2D 특징 추출기와 3D 볼륨 특징 추출기를 결합하여 픽셀-볼륨 정렬 내재 모델을 학습한다. 이를 통해 깊이 정보와 공간적 관계를 효과적으로 활용할 수 있다.
입력 포인트 클라우드를 활용한 깊이 감독 전략을 도입하여 재구성된 표면 근처의 부호 거리장 추정 정확도를 높인다.
고품질 3D 스캔과 소비자급 RGB-D 카메라 데이터를 포함하는 새로운 다중 모달 데이터셋 ANIM-Real을 제안하고, 이를 활용하여 실제 환경에서의 고품질 재구성을 달성한다.
실험 결과, ANIM은 단일 RGB, 법선, 포인트 클라우드 또는 RGB-D 데이터를 입력으로 하는 기존 방법들을 크게 능가하는 성능을 보인다. 특히 소비자급 RGB-D 카메라에서도 높은 품질의 재구성 결과를 얻을 수 있다.
Stats
단일 RGB-D 이미지에서 전례 없는 수준의 정확도와 세부 묘사로 인체 모델을 재구성할 수 있다.
입력 포인트 클라우드를 활용한 깊이 감독 전략을 통해 재구성된 표면 근처의 부호 거리장 추정 정확도를 높일 수 있다.
고품질 3D 스캔과 소비자급 RGB-D 카메라 데이터를 포함하는 ANIM-Real 데이터셋을 제안하여 실제 환경에서의 고품질 재구성을 달성할 수 있다.
Quotes
"단일 RGB-D 이미지에서 전례 없는 수준의 정확도와 세부 묘사로 인체 모델을 재구성할 수 있다."
"입력 포인트 클라우드를 활용한 깊이 감독 전략을 통해 재구성된 표면 근처의 부호 거리장 추정 정확도를 높일 수 있다."
"고품질 3D 스캔과 소비자급 RGB-D 카메라 데이터를 포함하는 ANIM-Real 데이터셋을 제안하여 실제 환경에서의 고품질 재구성을 달성할 수 있다."