Основные понятия
GI-GS는 지연 쉐이딩과 패스 트레이싱을 활용하여 실시간 렌더링을 유지하면서도 정확한 전역 조명 분해를 가능하게 하는 새로운 3DGS 기반 역 렌더링 프레임워크입니다.
이 연구 논문에서는 실시간 렌더링 속도를 유지하면서 사실적인 노벨 뷰 합성 및 재조명을 달성하기 위해 3D 가우시안 스플래팅(3DGS)과 지연 쉐이딩을 활용하는 새로운 역 렌더링 프레임워크인 GI-GS를 소개합니다.
연구 목표
이 연구의 주요 목표는 복잡한 실제 장면의 고품질 지오메트리, 재질 및 전역 조명을 복원하여 사실적인 노벨 뷰 합성 및 재조명을 가능하게 하는 것입니다.
연구 방법
GI-GS는 3D 가우시안 스플래팅(3DGS)을 기반으로 하며, 장면을 3D 가우시안 집합으로 표현하고 효율적인 렌더링을 위해 타일 기반 래스터화 파이프라인을 사용합니다.
지오메트리 복원: GI-GS는 먼저 깊이 맵에서 파생된 의사 노멀을 사용하여 각 가우시안 프리미티브에 대한 노멀 속성을 최적화하여 장면 지오메트리를 복원합니다.
직접 조명 모델링: GI-GS는 학습 가능한 환경 맵을 사용하여 직접 조명을 근사하고, 지연 쉐이딩 기술을 사용하여 깊이 맵, 노멀 맵 및 BRDF 맵을 렌더링하여 G-버퍼에 저장합니다.
간접 조명 모델링: GI-GS는 지연 쉐이딩을 기반으로 효율적인 패스 트레이싱을 사용하여 G-버퍼에서 복구된 지오메트리에서 간접 조명을 계산합니다. 이를 통해 기존 방법보다 더 사실적이고 일관된 간접 조명을 얻을 수 있습니다.
큐브맵 기반 간접 조명: GI-GS는 스크린 공간에서 월드 공간으로 패스 트레이싱 기반 간접 조명을 확장하여 장면의 전역 지오메트리를 모델링하고 더 자연스러운 결과를 얻습니다.
주요 결과
GI-GS는 역 렌더링, 노벨 뷰 합성 및 재조명 작업에서 최첨단 성능을 달성했으며 기존 NeRF 기반 및 3DGS 기반 방법보다 뛰어납니다. 정량적 및 정성적 결과는 GI-GS가 렌더링 품질과 효율성 모두에서 기존 기준선을 능가한다는 것을 보여줍니다.
연구의 중요성
이 연구는 3DGS 기반 역 렌더링 프레임워크가 사실적인 노벨 뷰 합성 및 재조명을 달성할 수 있음을 보여줍니다. 지연 쉐이딩과 패스 트레이싱을 결합하면 실시간 렌더링을 유지하면서도 정확한 전역 조명 분해가 가능합니다.
제한 사항 및 향후 연구
GI-GS는 간접 조명의 정반사 구성 요소를 고려하지 않습니다. 또한 복잡한 실제 장면의 경우 환경 맵을 직접 조명 소스로 사용하면 환경의 공간적으로 변화하는 조명을 캡처하지 못할 수 있습니다. 마지막으로 GI-GS는 고품질 지오메트리 재구성에 의존하므로 추가 지오메트리 제약 조건을 통합하여 패스 트레이싱의 정확도를 향상시킬 수 있습니다.
Статистика
TensoIR 합성 데이터 세트에서 GI-GS는 노벨 뷰 합성에서 PSNR 36.75, SSIM 0.972, LPIPS 0.037을 달성했습니다.
TensoIR 합성 데이터 세트에서 GI-GS는 알베도 재구성에서 PSNR 31.97, SSIM 0.941, LPIPS 0.085를 달성했습니다.
TensoIR 합성 데이터 세트에서 GI-GS는 재조명에서 PSNR 24.70, SSIM 0.886, LPIPS 0.106을 달성했습니다.
Mip-NeRF 360 데이터 세트에서 GI-GS는 실외 장면에서 PSNR 24.01, SSIM 0.701, LPIPS 0.250을 달성했습니다.
Mip-NeRF 360 데이터 세트에서 GI-GS는 실내 장면에서 PSNR 29.29, SSIM 0.896, LPIPS 0.152를 달성했습니다.