본 논문은 동영상 모션 전달을 위한 새로운 주파수 영역 기반 프레임워크인 Spectral Motion Alignment(SMA)를 제안한다. 기존 연구들은 주로 픽셀 영역에서의 모션 정보 추출에 의존하였지만, 이는 전역적 모션 맥락 파악과 공간적 왜곡 문제에 취약하다.
SMA는 푸리에 변환과 웨이블릿 변환을 활용하여 이러한 한계를 극복한다. 첫째, 웨이블릿 변환을 통해 다중 스케일 모션 패턴을 학습하여 전역적 모션 맥락을 효과적으로 포착한다. 둘째, 푸리에 변환 기반 진폭 및 위상 정합 손실을 통해 공간적 왜곡을 완화한다.
실험 결과, SMA는 다양한 동영상 모션 전달 프레임워크에서 우수한 성능을 보였다. 특히 기존 방식 대비 모션 정확도가 크게 향상되었다. 이는 SMA가 동영상의 전역적 및 지역적 모션 정보를 효과적으로 학습하고 정렬할 수 있음을 보여준다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문