본 논문은 실제 물체 가림 상황에서 인체 메쉬 복원의 어려움을 해결하기 위해 사전 학습된 확산 모델의 풍부한 지식을 활용하는 DPMesh 프레임워크를 제안한다.
기존 방법들은 2D 정보에 과도하게 의존하여 가림 상황에서 성능이 저하되는 문제가 있었다. 이에 반해 DPMesh는 확산 모델의 사전 지식을 활용하여 단일 단계 추론을 통해 효과적인 특징을 추출한다.
DPMesh는 확산 모델의 디노이징 U-Net을 이미지 백본으로 활용하고, 2D 관측치를 조건으로 주입하여 가림에 강인한 특징을 추출한다. 또한 노이즈 키포인트 추론 기법을 통해 2D 관측치의 오류에 대한 강건성을 높인다.
실험 결과, DPMesh는 다양한 가림 데이터셋에서 기존 최신 방법들을 크게 능가하는 성능을 보였다. 이는 확산 모델의 풍부한 사전 지식을 효과적으로 활용할 수 있음을 입증한다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yixuan Zhu,A... at arxiv.org 04-03-2024
https://arxiv.org/pdf/2404.01424.pdfDeeper Inquiries