이 논문은 확산 모델을 활용한 동영상 생성 기법을 제안한다. 기존 이미지 확산 모델을 동영상 생성에 활용하는 방법을 탐구하였다.
이미지 확산 모델을 동영상 생성에 적용할 때, 프레임 간 상관관계를 모델링하는 것이 중요함을 발견하였다. 기존 접근법은 프레임 간 상관관계를 고려하지 않아 성능이 제한적이었다.
이를 해결하기 위해 혼합 노이즈 모델과 점진적 노이즈 모델을 제안하였다. 이 모델들은 프레임 간 상관관계를 효과적으로 모델링하여 이미지 모델의 지식을 동영상 생성에 잘 전이할 수 있다.
제안 모델은 작은 규모의 UCF-101 데이터셋에서 기존 접근법 대비 큰 성능 향상을 보였다. 또한 대규모 텍스트 기반 동영상 생성 실험에서도 최신 기술 수준을 넘어서는 성과를 달성하였다.
이를 통해 확산 모델 기반 동영상 생성 기술의 발전 가능성을 보여주었다.
เป็นภาษาอื่น
จากเนื้อหาต้นฉบับ
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Songwei Ge,S... ที่ arxiv.org 03-27-2024
https://arxiv.org/pdf/2305.10474.pdfสอบถามเพิ่มเติม