본 연구는 문장 기반 4D 생성 기술을 개선하여 보다 사실적이고 풍부한 움직임을 가진 동적 장면을 생성하는 것을 목표로 한다. 기존 방법들은 객체의 국소적인 움직임만 생성할 수 있었지만, 본 연구에서는 궤적 조건화를 통해 장면의 전역적 움직임과 지역적 움직임을 분리하여 모델링한다.
구체적으로, 먼저 문장 기반 3D 생성 모델을 사용하여 정적인 3D 장면을 생성한다. 이후 이 장면을 사용자가 제공한 궤적을 따라 강체 변환하여 전역적 움직임을 모델링한다. 그리고 동영상 확산 모델의 감독을 받아 궤적에 맞는 지역적 변형을 학습한다. 이를 통해 기존 방법보다 더 큰 규모와 더 사실적인 움직임을 가진 4D 장면을 생성할 수 있다.
본 연구는 궤적 기반 4D 생성, 임의 궤적을 따르는 4D 생성, 복합적 4D 장면 생성 등의 새로운 응용 분야를 제시한다. 또한 정량적 및 정성적 평가를 통해 제안 방법의 우수성을 입증한다.
To Another Language
from source content
arxiv.org
Djupare frågor