Основные понятия
본 연구에서는 영상 생성 모델에 적용할 수 있는 새로운 모션 표현 기법인 모션 임베딩을 제안한다. 이를 통해 영상의 모션 특성을 효과적으로 조절하고 다양한 맞춤화를 수행할 수 있다.
Аннотация
본 연구는 영상 생성 모델에서 모션 표현의 중요성을 강조하며, 이를 위해 모션 임베딩이라는 새로운 기법을 제안한다.
모션 임베딩은 주어진 영상으로부터 학습된 일차원 시간 일관성 임베딩으로, 영상 생성 모델의 시간 변환기 모듈에 효과적으로 통합된다. 이를 통해 프레임 간 관계를 직접 조절할 수 있어 복잡한 모션 특성을 표현할 수 있다.
또한 연구진은 영상 생성 모델 내 다양한 모션 모듈들이 프레임 간 관계를 상이하게 처리하는 현상, 즉 '시간적 불일치'를 발견하고 이를 활용하여 모션 임베딩의 최적 통합 지점을 찾아낸다.
실험 결과, 제안 기법은 기존 방법 대비 모션 충실도와 텍스트 유사도가 향상되었으며, 사용자 선호도 또한 높게 나타났다. 이를 통해 본 연구의 모션 표현 기법이 영상 생성 모델의 모션 맞춤화에 효과적임을 입증한다.
Статистика
영상 생성 모델의 시간 변환기 모듈은 프레임 간 관계를 다양한 방식으로 처리한다.
시간 변환기 모듈의 "하향 및 상향 블록"은 인접 프레임 간 관계에 초점을 맞추는 "지역적" 패턴을 보이지만, "중간 블록"은 첫 프레임과 마지막 프레임에 주로 주목하는 "전역적" 패턴을 보인다.
Цитаты
"본 연구에서는 영상의 시간적 속성을 효과적으로 표현할 수 있는 모션 임베딩이라는 새로운 기법을 제안한다."
"영상 생성 모델 내 다양한 모션 모듈들이 프레임 간 관계를 상이하게 처리하는 현상, 즉 '시간적 불일치'를 발견하고 이를 활용하여 모션 임베딩의 최적 통합 지점을 찾아낸다."