核心概念
메시 기하, 텍스처 및 환경 조명 정보를 활용하여 3D 텍스처드 메시에서 직접 정확한 방사 장을 추출하는 Mesh2NeRF 방법을 제안합니다. Mesh2NeRF는 신경 방사 장 생성을 위한 직접적인 3D 감독을 제공하여 다양한 3D 생성 작업의 성능을 향상시킵니다.
摘要
이 논문은 3D 텍스처드 메시에서 직접 방사 장을 추출하는 Mesh2NeRF 방법을 제안합니다. 기존 방법은 다중 뷰 렌더링에서 방사 장을 피팅하는데, 이는 가림 현상이나 과소 적합 문제로 인해 아티팩트가 발생할 수 있습니다.
Mesh2NeRF는 메시 표면의 밀도 필드와 반사 함수를 모델링하여 정확한 방사 장을 직접 추출합니다. 이를 통해 신경 방사 장 생성을 위한 직접적인 3D 감독을 제공할 수 있습니다.
구체적으로 Mesh2NeRF는 다음과 같은 과정을 거칩니다:
- 메시 표면의 밀도 필드를 정의된 표면 두께를 가진 점유 함수로 모델링합니다.
- 메시와 환경 조명을 고려하여 관찰 방향에 따른 색상을 결정하는 반사 함수를 정의합니다.
- 카메라 ray를 따라 적분하여 정확한 볼륨 렌더링을 수행합니다.
Mesh2NeRF는 단일 장면 표현, 조건부 생성, 무조건부 생성 등 다양한 NeRF 기반 3D 생성 작업에서 우수한 성능을 보입니다. 특히 ABO 데이터셋에서 단일 장면 표현 시 3.12dB의 PSNR 향상, ShapeNet Cars의 단일 뷰 조건부 생성에서 0.69 PSNR 향상, Objaverse Mugs의 무조건부 생성에서 메시 추출 성능 향상 등의 결과를 보여줍니다.
統計資料
메시 표면에서 가까운 거리에 있는 ray 샘플의 밀도는 n^2/2로 매우 크다.
메시 표면에 닿는 ray 샘플의 알파 값은 1이며, 표면을 지나면 0으로 감소한다.
메시 표면에 닿는 ray 샘플의 색상은 메시 텍스처에서 가져온다.
引述
"Mesh2NeRF는 3D 텍스처드 메시에서 직접 정확한 방사 장을 추출하는 분석적 솔루션을 제안한다."
"Mesh2NeRF는 신경 방사 장 생성을 위한 직접적인 3D 감독을 제공하여 다양한 3D 생성 작업의 성능을 향상시킨다."