3D 가우시안 스플래팅을 이용한 실시간 서브서피스 스캐터링 객체 재구성 및 리라이팅

แนวคิดหลัก

이 논문에서는 3D 가우시안 스플래팅 프레임워크 내에서 표면 BRDF 모델과 암시적 SSS 모델을 결합하여 실시간으로 렌더링 및 리라이팅이 가능한 SSS 객체를 재구성하는 새로운 방법을 제안합니다.

บทคัดย่อ

3D 가우시안 스플래팅을 이용한 서브서피스 스캐터링

연구 목표

본 연구는 멀티뷰 OLAT 이미지 세트에서 실시간 렌더링이 가능한 사실적인 SSS 객체를 재구성하는 것을 목표로 합니다. 이를 위해 3D 가우시안 스플래팅(3D GS) 프레임워크를 확장하여 SSS 효과를 효율적으로 표현하고자 합니다.

방법

본 연구에서는 3D GS를 기반으로 표면 BRDF 모델과 암시적 SSS 모델을 결합한 새로운 방법을 제안합니다.

3D 가우시안 스플래팅(3D GS)

3D GS는 장면의 기하학적 형상과 표면 속성을 3D 가우시안 함수들의 집합으로 표현하는 효율적인 렌더링 기법입니다. 각 가우시안 함수는 중심 위치, 공분산 행렬, 색상, 불투명도 등의 파라미터를 가집니다. 3D GS는 가우시안 함수들을 이미지 평면에 투영하고 혼합하여 새로운 시점에서의 이미지를 생성합니다.

표면 BRDF 모델

표면 BRDF 모델은 빛이 표면에서 어떻게 반사되는지 설명하는 모델입니다. 본 연구에서는 Disney BRDF 모델을 사용하여 3D 가우시안의 표면에서의 빛 반사를 계산합니다.

암시적 SSS 모델

SSS는 빛이 물체 표면 아래에서 산란되는 현상으로, 사실적인 렌더링을 위해서는 필수적으로 고려해야 할 요소입니다. 본 연구에서는 3D 가우시안 스플래팅 프레임워크 내에서 SSS 효과를 효율적으로 표현하기 위해 암시적 SSS 모델을 사용합니다.

핵심 기술

1. SSS 모델링: 각 3D 가우시안에 대해 SSS 효과로 인한 출력 라디언스를 추정하는 암시적 SSS 쉐이더를 사용합니다. 이 쉐이더는 작은 MLP 네트워크로 구현되며, 장면의 로컬 및 글로벌 조명 정보를 학습하여 SSS 효과를 사실적으로 표현합니다.
2. 입사광: OLAT 설정을 가정하여 광원의 위치 정보를 활용합니다. BVH를 사용하여 각 가우시안에 대한 가시성을 빠르게 추정하고, 이를 SH 가시성 항으로 학습합니다. 장면 기하학, 광원 위치, 가시성을 고려하여 입사광 필드를 예측하는 신경망을 사용합니다.
3. 픽셀 단위 지연 쉐이딩: 더 선명한 하이라이트를 캡처하기 위해 지연 쉐이딩을 도입합니다. 가우시안 공간에서 BRDF 모델을 계산하는 대신, 가우시안 래스터화 후 이미지 공간에서 BRDF 모델을 평가합니다. 이를 통해 스페큘러 하이라이트와 같은 고주파 디테일을 효과적으로 렌더링할 수 있습니다.

결과

제안된 방법은 합성 및 실제 데이터셋에서 평가되었으며, 실시간 속도로 SSS 객체의 새로운 뷰 합성 및 리라이팅을 성공적으로 수행했습니다. 또한, 명시적 표현으로 인해 재료 편집 및 새로운 재료 합성과 같은 다양한 편집 기능을 제공합니다.

의의

본 연구는 3D GS 프레임워크를 확장하여 SSS 객체를 효율적으로 표현하고 실시간 렌더링을 가능하게 했다는 점에서 의의가 있습니다. 또한, 새로운 OLAT SSS 데이터셋을 구축하여 향후 연구에 활용될 수 있도록 했습니다.

제한점 및 향후 연구 방향

본 연구에서는 SSS 효과를 근사적으로 모델링하기 때문에 복잡한 재질이나 각도에 따라 달라지는 SSS 효과를 완벽하게 표현하지 못할 수 있습니다. 또한, 투명한 굴절 표면을 모델링하는 데는 한계가 있습니다. 향후 연구에서는 이러한 제한점을 개선하고 더욱 사실적인 SSS 객체 렌더링을 위한 연구를 수행할 예정입니다.

สถิติ

112개의 고정된 광원 위치를 가진 합성 조명 스테이지 설정을 사용하여 데이터셋을 생성했습니다.
훈련을 위해 각 객체에 대해 고정된 거리에서 100개의 임의의 카메라 뷰를 렌더링했습니다.
테스트를 위해 조명 스테이지 반구 외부에 위치한 200개의 카메라 뷰로 구성된 NeRF 합성 카메라 경로를 사용했습니다.
각 객체에 대해 총 11,200개의 훈련 이미지와 22,400개의 테스트 이미지(800x800 해상도)를 사용했습니다.
Blender의 Cycles 렌더러와 Principled BSDF 쉐이더를 사용하여 5개의 고유한 객체에 대한 데이터셋을 렌더링했습니다.
실제 데이터셋은 오브젝트를 지지하는 회전판과 구형의 수직 주 아크에서 움직일 수 있는 전동식 슬레드에 장착된 카메라가 있는 조명 스테이지에서 캡처되었습니다.
기하학적 디테일과 SSS를 나타내는 재료를 다양하게 표현하기 위해 선택된 15개의 객체를 포함하는 데이터셋을 구축했습니다.
객체당 167개의 광원 위치에서 158개의 위치를 캡처했습니다.
카메라 포즈 최적화 및 객체 마스킹을 위해 균일한 조명으로 캡처한 이미지를 추가로 활용했습니다.
COLMAP을 사용하여 상대 카메라 위치를 최적화하여 안쪽을 향하는 360° 멀티뷰 데이터셋을 생성했습니다.
알려진 광원 위치에 맞춰 카메라를 정렬했습니다.
자동 이미지 매팅을 사용하여 균일하게 비춘 이미지에서 객체 마스크를 생성했습니다.
SAM과 오픈 보카 어휘 모델을 활용하여 텍스트 프롬프트 또는 SfM 단계의 포인트를 쿼리로 사용하여 먼저 의사 트라이맵을 생성했습니다.
ViTMatte를 사용하여 투명도가 있는 마스크를 생성했습니다.
약 25,000개의 이미지를 균일하게 샘플링하여 훈련 세트와 테스트 세트로 나누었습니다.
강한 빛 반사가 있거나 불완전하거나 잘못된 마스크가 있는 프레임은 제외했습니다.
데이터셋의 약 10%를 폐기했습니다.
표 1에서 볼 수 있듯이 항상 전체 데이터셋을 훈련에 사용하지는 않았습니다.
500개의 이미지만 사용하여 방법을 드물게 훈련할 수도 있습니다.
3D GS 프레임워크와 Relightable 3D Gaussians(R3DGS)를 기반으로 구축되었습니다.
산란 구성 요소와 입사광 예측을 위한 암시적 표현에는 Leaky-ReLU 활성화 함수가 있는 3개의 레이어로 구성된 얕은 MLP를 사용했습니다.
렌더링을 위해 PyTorch와 [19, 10]에서 제공하는 사용자 지정 CUDA 커널을 사용하여 전체 파이프라인을 구현했습니다.

คำพูด

"3D Gaussian Splatting (3D GS) [18] has been introduced as a method for 3D reconstruction with high-quality novel view synthesis. It achieves real-time speeds by avoiding costly volume rendering, which, however, also limits the representation of volumetric effects."
"In this work, we introduce subsurface scattering to the 3D GS framework. Specifically, we propose the first method based on 3D GS for capturing detailed SSS effects of single objects, allowing for rendering and relighting in real-time."
"Our method provides object based decomposition for PBR material components and SSS effects, which allows for editing and novel material synthesis."
"We show that our method has improved training time and faster rendering speed compared to previous SSS approaches based on NeRFs while achieving comparable or better results."

ข้อมูลเชิงลึกที่สำคัญจาก

Subsurface Scattering for 3D Gaussian Splatting

by Jan-Niklas D... ที่ arxiv.org 11-01-2024

https://arxiv.org/pdf/2408.12282.pdf

สอบถามเพิ่มเติม

이 방법을 더욱 발전시켜 머리카락이나 털과 같이 더 복잡한 산란 특성을 가진 객체를 표현할 수 있을까요?

머리카락이나 털은 단순한 SSS 모델로는 표현하기 어려운 복잡한 산란 특성을 지니고 있습니다. 이는 각각의 머리카락이나 털이 가는 형태를 지니고 있어 빛과 상호 작용하는 방식이 매우 복잡하며, 서로 겹쳐지면서 발생하는 다중 산란 또한 사실적으로 표현해야 하기 때문입니다.
하지만, 본문에서 제시된 방법을 발전시켜 머리카락이나 털과 같은 복잡한 객체를 표현할 수 있는 가능성은 존재합니다. 몇 가지 접근 방식을 소개하면 다음과 같습니다:

3D 가우시안 스플래팅 해상도 개선: 현재 방법은 3D 가우시안 스플래팅의 해상도 제한으로 인해 머리카락과 같이 미세한 구조를 가진 객체를 표현하기에 어려움이 있습니다. 이를 해결하기 위해 가우시안 스플래팅의 해상도를 높이거나, 더 많은 수의 가우시안을 사용하여 표현하는 방법을 고려할 수 있습니다.
머리카락 및 털 전용 산란 모델 적용: Kajiya-Kay 모델이나 Marschner 모델과 같이 머리카락이나 털의 산란 특성을 효과적으로 모델링하는 데 사용되는 전용 BRDF 모델들을 적용할 수 있습니다. 이러한 모델들을 3D 가우시안 스플래팅 프레임워크에 통합하여 더욱 사실적인 머리카락 표현이 가능해집니다.
딥러닝 기반 향상: 최근 딥러닝 기술의 발전으로 인해 머리카락이나 털의 복잡한 산란 현상을 학습하고 표현하는 것이 가능해지고 있습니다. 예를 들어, 생성적 적대 신경망 (GAN)을 활용하여 실제 머리카락 이미지 데이터로부터 사실적인 머리카락 렌더링을 위한 특징들을 학습할 수 있습니다.

결론적으로, 3D 가우시안 스플래팅 기반 SSS 렌더링 기술은 아직 머리카락이나 털과 같은 복잡한 객체를 완벽하게 표현하기에는 한계가 존재합니다. 하지만 위에서 제시된 방법들과 같이 꾸준한 연구 개발을 통해 앞으로 더욱 사실적이고 효율적인 머리카락 렌더링 기술 구현이 가능할 것으로 기대됩니다.

3D 가우시안 스플래팅의 해상도 제한으로 인해 발생하는 잠재적인 문제점은 무엇이며, 이를 어떻게 해결할 수 있을까요?

3D 가우시안 스플래팅은 표면을 가우시안 함수의 합으로 근사하여 효율적인 렌더링을 가능하게 하지만, 해상도 제한으로 인해 몇 가지 잠재적인 문제점들이 발생할 수 있습니다.
문제점:

높은 주파수 디테일 손실: 3D 가우시안 스플래팅은 가우시안 함수의 부드러운 특성으로 인해 날카로운 모서리, 미세한 텍스처, 작은 구멍과 같은 높은 주파수 디테일을 표현하는 데 어려움을 겪습니다. 이는 특히 복잡한 기하학적 구조를 가진 객체나 머리카락, 털과 같이 가는 형태의 객체를 렌더링할 때 두드러지게 나타납니다.
계단 현상: 가우시안 스플래팅은 본질적으로 표면을 부드럽게 근사하기 때문에, 특정 시점이나 조명 조건에서 표면의 가장자리가 계단처럼 jagged하게 보이는 계단 현상이 발생할 수 있습니다.
메모리 제약: 고해상도 장면을 표현하기 위해서는 많은 수의 가우시안이 필요하며, 이는 메모리 사용량 증가로 이어져 실시간 렌더링에 제약을 가져올 수 있습니다.
해결 방안:

가우시안 스플래팅 해상도 증가: 가장 직접적인 해결 방안은 더 많은 수의 가우시안을 사용하여 표면을 더 높은 해상도로 표현하는 것입니다. 하지만 이는 렌더링 시간과 메모리 사용량 증가로 이어질 수 있습니다.
다중 해상도 표현: 장면의 복잡도에 따라 다양한 크기의 가우시안을 사용하는 계층적 표현 방식을 통해 효율성을 높일 수 있습니다. 예를 들어, 큰 가우시안은 전체적인 형태를 나타내고 작은 가우시안은 세부적인 디테일을 표현하는 데 사용될 수 있습니다.
보완적인 기법 활용: 3D 가우시안 스플래팅의 단점을 보완하기 위해 다른 렌더링 기법들을 함께 사용할 수 있습니다. 예를 들어, 높은 주파수 디테일을 표현하기 위해 텍스처 매핑이나 법선 매핑을 적용하거나, 계단 현상을 줄이기 위해 안티앨리어싱 기법을 사용할 수 있습니다.
딥러닝 기반 향상: 최근 연구에서는 딥러닝을 활용하여 가우시안 스플래팅의 해상도를 높이거나, 더 적은 수의 가우시안으로도 높은 품질의 렌더링 결과를 얻는 방법들이 제시되고 있습니다.
결론적으로 3D 가우시안 스플래팅의 해상도 제한 문제는 다양한 방법들을 통해 해결하거나 완화할 수 있습니다. 특히, 딥러닝 기술의 발전은 더욱 효율적이고 사실적인 렌더링 결과를 얻을 수 있는 새로운 가능성을 제시하고 있습니다.

이 기술이 게임이나 영화와 같은 실시간 렌더링이 중요한 분야에서 어떻게 활용될 수 있을까요?

본문에서 소개된 3D 가우시안 스플래팅 기반 SSS 렌더링 기술은 게임이나 영화와 같이 실시간 렌더링이 중요한 분야에서 다양하게 활용될 수 있습니다. 특히, 높은 품질의 비주얼과 빠른 렌더링 속도를 동시에 요구하는 분야에서 더욱 빛을 발할 수 있습니다.
게임 분야:

사실적인 캐릭터 및 환경 렌더링: 피부, 머리카락, 촛불, 물 등 SSS 효과가 중요한 오브젝트를 더욱 사실적으로 렌더링하여 게임의 몰입감을 높일 수 있습니다.
다양한 재질 표현: 플라스틱, 유리, 옥 등 다양한 재질을 표현하고, 조명 변화에 따른 SSS 효과를 실시간으로 반영하여 더욱 풍부한 게임 환경을 구축할 수 있습니다.
효율적인 리소스 관리: 기존의 복잡한 3D 모델에 비해 상대적으로 적은 리소스를 사용하면서도 높은 품질의 그래픽을 구현할 수 있어, 모바일 게임이나 VR/AR 환경에서도 효과적으로 활용될 수 있습니다.
영화 분야:

고품질 시각 효과 제작: 실시간으로 SSS 효과를 반영하여 렌더링 시간을 단축하고, 더욱 사실적이고 몰입감 있는 시각 효과를 제작할 수 있습니다.
캐릭터 피부 및 의상 표현: 배우의 피부 톤이나 질감을 더욱 정확하게 표현하고, 다양한 의상 재질에 대한 SSS 효과를 사실적으로 구현하여 영화의 완성도를 높일 수 있습니다.
가상 프로덕션 환경 구축: 실시간 렌더링을 통해 가상 환경에서 배우와 오브젝트 간의 상호 작용을 바로 확인하고 수정하면서 촬영할 수 있어 제작 효율성을 높일 수 있습니다.
기타 활용 분야:

건축 시각화: 건축 자재의 질감과 조명 효과를 사실적으로 표현하여 건축 디자인 검토 및 프레젠테이션에 활용할 수 있습니다.
제품 디자인: 제품의 재질과 조명에 따른 외관 변화를 실시간으로 확인하면서 디자인을 수정하고 개선하는 데 사용할 수 있습니다.
의료 시뮬레이션: 인체 조직의 SSS 효과를 사실적으로 표현하여 수술 시뮬레이션이나 의료 교육 콘텐츠 제작에 활용할 수 있습니다.
3D 가우시안 스플래팅 기반 SSS 렌더링 기술은 아직 발전 초기 단계에 있지만, 높은 잠재력을 가진 기술입니다. 앞으로 하드웨어 및 소프트웨어 기술의 발전과 함께 더욱 다양한 분야에서 활용될 것으로 기대됩니다.