Khái niệm cốt lõi
Spatialyze는 지리공간 비디오 데이터를 효율적으로 처리하고 분석할 수 있는 새로운 프레임워크이다. 지리공간 메타데이터와 실제 세계 객체의 물리적 행동을 활용하여 지리공간 비디오 분석 워크플로우를 최적화한다.
Tóm tắt
Spatialyze는 지리공간 비디오 데이터를 효율적으로 처리하고 분석할 수 있는 새로운 프레임워크이다.
- 사용자가 지리공간 비디오 데이터와 메타데이터를 통합하여 "World"를 구축한다.
- 사용자는 S-Flow라는 도메인 특화 언어를 사용하여 객체와 시나리오를 정의하고 필터링한다.
- Spatialyze는 지리공간 메타데이터와 객체의 물리적 행동을 활용하여 비디오 처리 워크플로우를 최적화한다.
- Road Visibility Pruner: 관심 객체가 보이지 않는 프레임을 제거하여 처리 시간을 단축한다.
- Object Type Pruner: 관심 객체가 아닌 것을 제거하여 객체 추적 시간을 단축한다.
- Geometry-Based 3D Location Estimator: 기계학습 기반 접근법보다 빠른 기하학 기반 3D 위치 추정 기법을 사용한다.
- Exit Frame Sampler: 차량의 물리적 행동을 활용하여 불필요한 프레임을 제거한다.
- 실험 결과, Spatialyze는 기존 기법 대비 최대 5.3배 빠른 처리 속도와 최대 97.1%의 정확도를 달성했다.
Thống kê
1 Nvidia T4 GPU가 20초 12fps 비디오에 대해 객체 탐지, 추적, 깊이 추정 워크플로우를 실행하는데 평균 34초가 소요된다.
nuScenes 데이터셋에는 6000개의 이러한 비디오가 포함되어 있다.
전체 데이터셋에 대해 위 워크플로우를 실행하려면 3일이 소요된다.
Trích dẫn
"비디오 처리에 사용되는 ML 모델의 실행 시간이 전체 워크플로우 실행 시간의 90%를 차지한다."
"Spatialyze의 Road Visibility Pruner는 비디오 처리 시간의 0.1%의 오버헤드로 최대 19.6%의 시간을 절감할 수 있다."