핵심 개념
이 논문에서는 3D 가우시안 스플래팅 프레임워크 내에서 표면 BRDF 모델과 암시적 SSS 모델을 결합하여 실시간으로 렌더링 및 리라이팅이 가능한 SSS 객체를 재구성하는 새로운 방법을 제안합니다.
초록
3D 가우시안 스플래팅을 이용한 서브서피스 스캐터링
연구 목표
본 연구는 멀티뷰 OLAT 이미지 세트에서 실시간 렌더링이 가능한 사실적인 SSS 객체를 재구성하는 것을 목표로 합니다. 이를 위해 3D 가우시안 스플래팅(3D GS) 프레임워크를 확장하여 SSS 효과를 효율적으로 표현하고자 합니다.
방법
본 연구에서는 3D GS를 기반으로 표면 BRDF 모델과 암시적 SSS 모델을 결합한 새로운 방법을 제안합니다.
3D 가우시안 스플래팅(3D GS)
3D GS는 장면의 기하학적 형상과 표면 속성을 3D 가우시안 함수들의 집합으로 표현하는 효율적인 렌더링 기법입니다. 각 가우시안 함수는 중심 위치, 공분산 행렬, 색상, 불투명도 등의 파라미터를 가집니다. 3D GS는 가우시안 함수들을 이미지 평면에 투영하고 혼합하여 새로운 시점에서의 이미지를 생성합니다.
표면 BRDF 모델
표면 BRDF 모델은 빛이 표면에서 어떻게 반사되는지 설명하는 모델입니다. 본 연구에서는 Disney BRDF 모델을 사용하여 3D 가우시안의 표면에서의 빛 반사를 계산합니다.
암시적 SSS 모델
SSS는 빛이 물체 표면 아래에서 산란되는 현상으로, 사실적인 렌더링을 위해서는 필수적으로 고려해야 할 요소입니다. 본 연구에서는 3D 가우시안 스플래팅 프레임워크 내에서 SSS 효과를 효율적으로 표현하기 위해 암시적 SSS 모델을 사용합니다.
핵심 기술
- SSS 모델링: 각 3D 가우시안에 대해 SSS 효과로 인한 출력 라디언스를 추정하는 암시적 SSS 쉐이더를 사용합니다. 이 쉐이더는 작은 MLP 네트워크로 구현되며, 장면의 로컬 및 글로벌 조명 정보를 학습하여 SSS 효과를 사실적으로 표현합니다.
- 입사광: OLAT 설정을 가정하여 광원의 위치 정보를 활용합니다. BVH를 사용하여 각 가우시안에 대한 가시성을 빠르게 추정하고, 이를 SH 가시성 항으로 학습합니다. 장면 기하학, 광원 위치, 가시성을 고려하여 입사광 필드를 예측하는 신경망을 사용합니다.
- 픽셀 단위 지연 쉐이딩: 더 선명한 하이라이트를 캡처하기 위해 지연 쉐이딩을 도입합니다. 가우시안 공간에서 BRDF 모델을 계산하는 대신, 가우시안 래스터화 후 이미지 공간에서 BRDF 모델을 평가합니다. 이를 통해 스페큘러 하이라이트와 같은 고주파 디테일을 효과적으로 렌더링할 수 있습니다.
결과
제안된 방법은 합성 및 실제 데이터셋에서 평가되었으며, 실시간 속도로 SSS 객체의 새로운 뷰 합성 및 리라이팅을 성공적으로 수행했습니다. 또한, 명시적 표현으로 인해 재료 편집 및 새로운 재료 합성과 같은 다양한 편집 기능을 제공합니다.
의의
본 연구는 3D GS 프레임워크를 확장하여 SSS 객체를 효율적으로 표현하고 실시간 렌더링을 가능하게 했다는 점에서 의의가 있습니다. 또한, 새로운 OLAT SSS 데이터셋을 구축하여 향후 연구에 활용될 수 있도록 했습니다.
제한점 및 향후 연구 방향
본 연구에서는 SSS 효과를 근사적으로 모델링하기 때문에 복잡한 재질이나 각도에 따라 달라지는 SSS 효과를 완벽하게 표현하지 못할 수 있습니다. 또한, 투명한 굴절 표면을 모델링하는 데는 한계가 있습니다. 향후 연구에서는 이러한 제한점을 개선하고 더욱 사실적인 SSS 객체 렌더링을 위한 연구를 수행할 예정입니다.
통계
112개의 고정된 광원 위치를 가진 합성 조명 스테이지 설정을 사용하여 데이터셋을 생성했습니다.
훈련을 위해 각 객체에 대해 고정된 거리에서 100개의 임의의 카메라 뷰를 렌더링했습니다.
테스트를 위해 조명 스테이지 반구 외부에 위치한 200개의 카메라 뷰로 구성된 NeRF 합성 카메라 경로를 사용했습니다.
각 객체에 대해 총 11,200개의 훈련 이미지와 22,400개의 테스트 이미지(800x800 해상도)를 사용했습니다.
Blender의 Cycles 렌더러와 Principled BSDF 쉐이더를 사용하여 5개의 고유한 객체에 대한 데이터셋을 렌더링했습니다.
실제 데이터셋은 오브젝트를 지지하는 회전판과 구형의 수직 주 아크에서 움직일 수 있는 전동식 슬레드에 장착된 카메라가 있는 조명 스테이지에서 캡처되었습니다.
기하학적 디테일과 SSS를 나타내는 재료를 다양하게 표현하기 위해 선택된 15개의 객체를 포함하는 데이터셋을 구축했습니다.
객체당 167개의 광원 위치에서 158개의 위치를 캡처했습니다.
카메라 포즈 최적화 및 객체 마스킹을 위해 균일한 조명으로 캡처한 이미지를 추가로 활용했습니다.
COLMAP을 사용하여 상대 카메라 위치를 최적화하여 안쪽을 향하는 360° 멀티뷰 데이터셋을 생성했습니다.
알려진 광원 위치에 맞춰 카메라를 정렬했습니다.
자동 이미지 매팅을 사용하여 균일하게 비춘 이미지에서 객체 마스크를 생성했습니다.
SAM과 오픈 보카 어휘 모델을 활용하여 텍스트 프롬프트 또는 SfM 단계의 포인트를 쿼리로 사용하여 먼저 의사 트라이맵을 생성했습니다.
ViTMatte를 사용하여 투명도가 있는 마스크를 생성했습니다.
약 25,000개의 이미지를 균일하게 샘플링하여 훈련 세트와 테스트 세트로 나누었습니다.
강한 빛 반사가 있거나 불완전하거나 잘못된 마스크가 있는 프레임은 제외했습니다.
데이터셋의 약 10%를 폐기했습니다.
표 1에서 볼 수 있듯이 항상 전체 데이터셋을 훈련에 사용하지는 않았습니다.
500개의 이미지만 사용하여 방법을 드물게 훈련할 수도 있습니다.
3D GS 프레임워크와 Relightable 3D Gaussians(R3DGS)를 기반으로 구축되었습니다.
산란 구성 요소와 입사광 예측을 위한 암시적 표현에는 Leaky-ReLU 활성화 함수가 있는 3개의 레이어로 구성된 얕은 MLP를 사용했습니다.
렌더링을 위해 PyTorch와 [19, 10]에서 제공하는 사용자 지정 CUDA 커널을 사용하여 전체 파이프라인을 구현했습니다.
인용구
"3D Gaussian Splatting (3D GS) [18] has been introduced as a method for 3D reconstruction with high-quality novel view synthesis. It achieves real-time speeds by avoiding costly volume rendering, which, however, also limits the representation of volumetric effects."
"In this work, we introduce subsurface scattering to the 3D GS framework. Specifically, we propose the first method based on 3D GS for capturing detailed SSS effects of single objects, allowing for rendering and relighting in real-time."
"Our method provides object based decomposition for PBR material components and SSS effects, which allows for editing and novel material synthesis."
"We show that our method has improved training time and faster rendering speed compared to previous SSS approaches based on NeRFs while achieving comparable or better results."