Core Concepts
단일 이미지 기반 대화형 얼굴 생성 시스템에 적응형 초해상도 기법을 통합하여 고화질의 합성 영상을 생성하는 방법을 제안한다.
Abstract
본 연구는 단일 이미지 기반 대화형 얼굴 생성 시스템에 적응형 초해상도 기법을 통합하여 고화질의 합성 영상을 생성하는 방법을 제안한다.
먼저, 입력 이미지의 화질을 의도적으로 낮춰 학습 데이터로 사용하고, 고화질 목표 이미지를 통해 학습을 진행한다. 이를 통해 인코더 모듈이 저화질 입력으로부터 고주파 정보를 효과적으로 추출할 수 있도록 한다.
다음으로, 키포인트 기반의 모션 추정 모듈을 통해 입력 이미지와 구동 영상 간의 변형을 계산한다. 이를 바탕으로 SPADE 생성기를 활용하여 최종 합성 영상을 생성한다.
제안 방법은 기존 기술 대비 정량적, 정성적 평가에서 우수한 성능을 보였으며, 특히 합성 영상의 고화질 및 정확한 표정 및 자세 생성 능력이 돋보인다.
Stats
단일 이미지 기반 대화형 얼굴 생성 시 제안 방법이 기존 기술 대비 평균 키포인트 거리(AKD) 지표에서 약 50% 이상 향상되었다.
제안 방법은 PSNR, SSIM, FID 등의 화질 지표에서도 기존 기술 대비 우수한 성능을 보였다.
사용자 평가 결과, 제안 방법의 합성 영상이 가장 현실감 있게 평가되었다.
Quotes
"본 연구는 단일 이미지 기반 대화형 얼굴 생성 시스템에 적응형 초해상도 기법을 통합하여 고화질의 합성 영상을 생성하는 방법을 제안한다."
"제안 방법은 기존 기술 대비 정량적, 정성적 평가에서 우수한 성능을 보였으며, 특히 합성 영상의 고화질 및 정확한 표정 및 자세 생성 능력이 돋보인다."