Core Concepts
본 연구는 주행 시나리오에서 보행자 시뮬레이션의 다양성과 제어 가능성을 높이는 PACER+ 프레임워크를 제안한다. 이를 통해 다양한 소스의 보행자 행동을 생성하고 실시간으로 제어할 수 있다.
Abstract
본 연구는 주행 시나리오에서 보행자 애니메이션의 다양성과 제어 가능성을 높이기 위한 PACER+ 프레임워크를 제안한다. 기존 연구들은 주로 궤적 추적 또는 참조 비디오의 내용에 초점을 맞추었지만, 이는 보행자 행동의 다양성을 제한하는 한계가 있었다.
PACER+는 궤적 추적 과제와 모션 추적 과제를 결합하여 단일 정책으로 구현한다. 이를 통해 상체 모션을 선택적으로 추적하면서도 주어진 궤적을 따를 수 있다. 이러한 접근법은 보행자 행동의 다양성을 크게 향상시키고 내용에 대한 제어 기능을 강화한다.
PACER+는 생성 모델, 모션 캡처 데이터, 비디오 등 다양한 소스의 모션 콘텐츠를 통합할 수 있다. 또한 실제 세계 비디오에서 보행자 애니메이션을 zero-shot으로 재현할 수 있으며, 누락된 부분은 자동으로 채워진다.
실험 결과, PACER+는 기존 방법보다 우수한 모션 품질과 다양성을 보여주었다. 또한 실제 세계 시나리오에서도 효과적인 모션 추적 성능을 발휘했다.
Stats
보행자 애니메이션의 FID 지표는 PACER 대비 15.4% 향상되었다.
보행자 애니메이션의 다양성 지표는 PACER 대비 29.5% 향상되었다.
실제 세계 시나리오에서 PACER+ 의 Empjpe 지표는 Wang et al. 대비 13.1% 향상되었다.
실제 세계 시나리오에서 PACER+ 의 Egmpjpe 지표는 Wang et al. 대비 7.2% 향상되었다.
Quotes
"본 연구는 주행 시나리오에서 보행자 시뮬레이션의 다양성과 제어 가능성을 높이는 PACER+ 프레임워크를 제안한다."
"PACER+는 궤적 추적 과제와 모션 추적 과제를 결합하여 단일 정책으로 구현함으로써 보행자 행동의 다양성을 크게 향상시키고 내용에 대한 제어 기능을 강화한다."
"PACER+는 생성 모델, 모션 캡처 데이터, 비디오 등 다양한 소스의 모션 콘텐츠를 통합할 수 있으며, 실제 세계 비디오에서 보행자 애니메이션을 zero-shot으로 재현할 수 있다."