Core Concepts
본 연구는 다중 시점 이미지로부터 토폴로지가 일관된 얼굴 메쉬를 직접 재구성하는 새로운 메쉬 볼륨 렌더링 기법을 제안한다. 이를 위해 메쉬 표면의 희소 특징을 주변 공간으로 전파하여 연속적인 방사 필드를 시뮬레이션하는 변형 불변 특징 전파 모듈을 개발하였다.
Abstract
본 연구는 다중 시점 얼굴 이미지로부터 토폴로지가 일관된 얼굴 메쉬를 직접 재구성하는 새로운 메쉬 볼륨 렌더링 기법을 제안한다.
메쉬 볼륨 렌더링 기법:
각 샘플링 지점과 메쉬 간의 거리를 밀도로 변환하여 볼륨 렌더링에 활용
샘플링 지점의 법선을 메쉬 표면의 최근접 점의 법선으로 근사
효율적인 샘플링을 위해 거리 기반 범위 제한 및 coarse-to-fine 전략 적용
변형 불변 특징 전파 모듈:
메쉬 표면의 희소 특징을 주변 공간으로 전파하여 연속적인 방사 필드 시뮬레이션
메쉬 변형에 따라 상대 좌표계에서 특징이 이동하여 일관된 렌더링 가능
최적화 및 훈련 전략:
메쉬 정점 위치, 암묵적 텍스처 특징, 특징 전파 모듈 파라미터 최적화
랜드마크 손실, 마스크 손실, 셰이딩 손실 활용
단계적 최적화 및 반복 훈련 전략 적용
실험 결과, 제안 방법은 기존 방법 대비 우수한 재구성 정확도와 렌더링 품질을 보였으며, 메쉬 편집 후에도 일관된 렌더링 결과를 생성할 수 있음을 확인하였다.
Stats
다중 시점 얼굴 이미지 30장으로 구성된 데이터셋을 활용하였다.
각 이미지의 해상도는 2K(5456 x 3632)이다.
얼굴 메쉬 템플릿은 11,763개의 정점과 23,004개의 삼각형으로 구성되어 있다.
얼굴 영역에 106개의 랜드마크가 수동으로 지정되었다.
Quotes
"본 연구는 다중 시점 이미지로부터 토폴로지가 일관된 얼굴 메쉬를 직접 재구성하는 새로운 메쉬 볼륨 렌더링 기법을 제안한다."
"제안 방법은 메쉬 표면의 희소 특징을 주변 공간으로 전파하여 연속적인 방사 필드를 시뮬레이션함으로써, 메쉬 변형에도 일관된 렌더링 결과를 생성할 수 있다."