核心概念
本文提出了一種名為 GI-GS 的新型逆向渲染框架,利用 3D 高斯樣條 (3DGS) 和延遲著色技術,實現了逼真的新視圖合成和重新照明。
摘要
GI-GS:基於高斯樣條的全局照明分解逆向渲染
這篇研究論文介紹了 GI-GS,一個基於 3D 高斯樣條 (3DGS) 的新型逆向渲染框架。該框架旨在從輸入圖像中估計場景的物理屬性,例如材質、幾何形狀和照明,並應用於新視圖合成和重新照明等下游任務。
研究目標:
克服現有基於 NeRF 的逆向渲染方法渲染速度慢、難以準確模擬複雜光線交互作用的局限性。
提出一個基於 3DGS 的逆向渲染框架,實現對材質、幾何形狀和全局照明的準確估計。
方法:
GI-GS 框架分為三個階段:
幾何重建:
採用香草 3DGS 流程重建場景幾何。
為每個高斯基元添加法線屬性,並使用從深度圖導出的偽法線進行優化。
直接照明建模:
使用延遲著色技術,將深度圖、法線圖和 BRDF 圖渲染到 G 緩衝區中。
從深度圖和法線圖估計遮擋。
利用可學習環境圖和可微分 PBR 流程渲染直接照明下的圖像。
間接照明建模:
基於 G 緩衝區中恢復的幾何形狀,應用可微分路徑追踪來獲得間接照明下的渲染結果。
為了模擬全局幾何形狀,將路徑追踪從屏幕空間擴展到世界空間,使用立方體貼圖來恢復全局幾何形狀並計算間接照明。
主要發現:
GI-GS 在逆向渲染、新視圖合成和重新照明任務中均取得了最先進的性能,優於現有的基於 NeRF 和 3DGS 的方法。
通過結合延遲著色和路徑追踪,GI-GS 能夠在確保實時渲染的同時,實現對全局照明的準確分解。
主要結論:
GI-GS 是一個強大的逆向渲染框架,能夠對複雜的真實場景進行高保真幾何和材質重建,並實現逼真的新視圖合成和重新照明。
意義:
這項研究為基於 3DGS 的逆向渲染提供了一種新的方法,並為各種下游應用(如虛擬現實、增強現實和產品設計)開闢了新的可能性。
局限性和未來研究方向:
該方法沒有考慮間接照明的鏡面反射分量,這需要複雜的蒙特卡羅採樣。
對於複雜的真實場景,使用環境圖作為直接光源可能無法捕捉環境中空間變化的照明。
未來的工作可以探索將額外的幾何約束納入路徑追踪,以進一步提高間接照明的準確性。
統計資料
在 TensoIR 合成數據集上,GI-GS 在新視圖合成和反照率重建方面均優於先前的方法,在 PSNR 指標上取得了最佳成績,同時保持了與其他方法相當的 SSIM 和 LPIPS 分數。
在 Mip-NeRF 360 數據集上,GI-GS 超越了先前基於 3DGS 的逆向渲染方法,在所有指標上均達到了最先進的性能,尤其是在包含更多遮擋的室內場景渲染方面表現出顯著優勢。
將路徑追踪從屏幕空間擴展到世界空間後,GI-GS 的擴展版本 (Ours-Cubemap) 在遮擋區域的建模更加準確和流暢。
引述
“To overcome these limitations, we propose GI-GS, a novel inverse rendering framework based on 3DGS that achieves accurate estimation of materials and geometry, as well as global illumination decomposition.”
“Our key innovation is to calculate indirect lighting by efficient path tracing based on the deferred shading technique.”
“Notably, to the best of our knowledge, we are among the first to develop a 3DGS-based inverse rendering framework capable of modeling indirect lighting during the relighting process.”