본 연구는 비정형 물체의 4D 재구성 및 추적을 위한 새로운 접근법인 Motion2VecSets를 제안한다. 기존 방법들은 단일 전역 잠재 코드를 사용하여 동적 표면을 표현하지만, 이는 표면 기하학 및 시간 변화 정보를 상실할 수 있다.
Motion2VecSets는 두 가지 잠재 벡터 세트를 사용한다. 하나는 초기 프레임의 기하학을 나타내고, 다른 하나는 초기 프레임과 후속 프레임 간의 변형을 인코딩한다. 이 새로운 4D 표현은 지역적 기하학 및 변형 패턴을 보존하여 복잡한 비선형 동작을 정확하게 모델링하고 알려지지 않은 정체성 및 동작에 대한 일반화 능력을 향상시킨다.
또한 Motion2VecSets는 4D 잠재 벡터 세트 확산 모델을 도입하여 희소, 부분적, 노이즈가 있는 관측치에 대해 더 현실적이고 다양한 재구성을 생성할 수 있다. 특히 공간-시간 주의 메커니즘을 통해 변형 잠재 벡터 세트를 동기화하여 시공간적 일관성을 유지하면서도 계산 효율성을 높였다.
실험 결과, Motion2VecSets는 Dynamic FAUST와 DeformingThings4D-Animals 데이터셋에서 기존 최신 방법들을 능가하는 성능을 보였다. 특히 알려지지 않은 정체성 및 동작에 대해 더 정확한 재구성과 추적을 달성했다.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Pertanyaan yang Lebih Dalam