Normal-GS：透過結合法線渲染實現的 3D 高斯樣條渲染技術

Kernekoncepter

Normal-GS 是一種結合法線資訊到 3D 高斯樣條渲染流程的新方法，能同時提升渲染品質和表面法線的準確度。

Resumé

論文資訊：
Wei, M., Wu, Q., Zheng, J., Rezatofighi, H., & Cai, J. (2024). Normal-GS: 3D Gaussian Splatting with Normal-Involved Rendering. arXiv preprint arXiv:2410.20593v1.
研究目標：
本研究旨在解決 3D 高斯樣條技術 (3DGS) 中渲染品質和幾何精確度之間的矛盾，目標是開發一種方法，在維持即時渲染效能的同時，提升渲染品質並準確估計表面法線。
方法：

法線參與的渲染策略：

提出 Normal-GS，將表面法線整合到 3DGS 渲染流程中。
採用基於物理的渲染方程式，模擬法線和入射光線之間的交互作用。
將表面顏色重新參數化為法線和設計的整合方向照明向量 (IDIV) 的乘積。

模擬局部共享的整合方向照明向量：

採用基於錨點的 GS 來隱式編碼局部共享的 IDIV，以節省記憶體並輔助優化。
使用 MLP 解碼 IDIV，捕捉局部一致性並確保平滑度。

訓練細節：

使用 Structure-from-Motion 生成稀疏點作為初始 3D 高斯模型。
利用 3D 高斯模型最短軸來定義表面法線，並使用深度正則化損失項來對齊真實表面法線。
採用整合方向編碼 (IDE) 來捕捉視圖相關的鏡面反射效果。
使用包含原始光度損失、體積正則化損失和深度-法線損失的組合損失函數進行訓練。
主要發現：

Normal-GS 在渲染品質方面與最先進的方法 (如 SpecGaussian) 相匹敵或更出色。
與隱式利用法線資訊的基線方法相比，Normal-GS 在幾乎所有指標上都顯著優於它們。
Normal-GS 在捕捉精確幾何形狀和高保真渲染方面表現出色，優於依賴全局環境貼圖或僅依靠神經網路進行法線整合的方法。
主要結論：

將法線資訊直接整合到渲染流程對於同時實現高幾何精度和視覺保真度至關重要。
Normal-GS 提供了一種在 3DGS 中實現高品質渲染和準確法線估計的有效且穩健的解決方案。
意義：
這項研究在提升 3DGS 技術的渲染品質和幾何精確度方面取得了顯著進展，為虛擬和擴增實境等領域的應用開闢了新的可能性。
局限性和未來研究方向：

自正則化法線損失對於遠處的某些室外場景效果不佳，未來可以使用更複雜的法線引導技術來解決這個問題。
未來研究可以探索更精細的 IDIV 和鏡面反射分量分解，以增強紋理編輯和重新照明功能。

Statistik

3DGS 通常使用最高 3 階的球諧函數來表示顏色。
Normal-GS 在 NeRF Synthetic 資料集上的法線平均角度誤差 (MAE) 優於其他方法。
在 Mip-NeRF 360、Tanks & Temples 和 Deep Blending 資料集上，Normal-GS 在 PSNR、SSIM 和 LPIPS 指標上與最先進的方法相匹敵或更出色。

Vigtigste indsigter udtrukket fra

Normal-GS: 3D Gaussian Splatting with Normal-Involved Rendering

by Meng Wei, Qi... kl. arxiv.org 10-29-2024

https://arxiv.org/pdf/2410.20593.pdf

Dybere Forespørgsler

如何將 Normal-GS 技術應用於動態場景的建模和渲染？

將 Normal-GS 應用於動態場景需要解決幾個挑戰：

動態幾何形狀的表示： Normal-GS 使用 3D 高斯函數來表示靜態場景的幾何形狀。對於動態場景，需要一種有效的方法來表示隨時間變化的幾何形狀。一種可能的解決方案是使用時間變化的 3D 高斯函數，或者將場景分解成多個部分，每個部分可以使用不同的 3D 高斯函數集來表示。

運動模糊的處理： 動態場景中的物體運動會導致運動模糊。Normal-GS 需要考慮運動模糊的影響，以產生逼真的渲染結果。可以通過在渲染過程中對每個像素積分多個時間步長的貢獻來模擬運動模糊。

時間一致性的保持： 為了產生流暢的動畫，需要在渲染的幀之間保持時間一致性。這可以通過在優化過程中添加時間一致性約束來實現，例如確保相鄰幀中對應點的法線方向變化平滑。

以下是一些將 Normal-GS 應用於動態場景的可能方向：

結合基於骨架的動畫： 可以使用骨架動畫來驅動 3D 高斯函數的變形，從而表示動態角色或物體的運動。
使用時間變化的神經網路： 可以訓練時間變化的神經網路來預測每個時間步長中 3D 高斯函數的參數，從而捕捉場景的動態變化。
結合基於體積的渲染技術： 可以將 Normal-GS 與基於體積的渲染技術（例如時間體積場）相結合，以有效地表示和渲染動態煙霧、火焰或流體等效果。

如果場景中存在大量的透明或半透明物體，Normal-GS 的效能會受到什麼影響？

Normal-GS 的效能在處理大量透明或半透明物體時會受到以下幾個方面的影響：

渲染效率降低： Normal-GS 使用 alpha 混合來渲染透明和半透明物體。當場景中存在大量此類物體時，alpha 混合的計算成本會顯著增加，導致渲染速度變慢。

排序問題： 正確渲染透明物體需要按照正確的順序進行 alpha 混合。對於複雜場景，確定正確的排序非常困難，可能會導致渲染偽影，例如物體出現錯誤的重疊。

光線傳輸的模擬： Normal-GS 主要關注表面渲染，對於透明和半透明物體，光線會在物體內部發生散射和吸收等複雜的傳輸現象。Normal-GS 需要更精確地模擬光線傳輸，才能準確地渲染此類物體。

以下是一些可以減輕這些影響的策略：

使用更先進的排序算法： 可以使用更先進的排序算法（例如深度剝離或基於圖塊的排序）來更有效地處理透明物體的排序。
結合基於光線追蹤的渲染技術： 可以將 Normal-GS 與基於光線追蹤的渲染技術相結合，以更準確地模擬光線在透明和半透明物體內部的傳輸。
使用預先計算的光線傳輸數據： 對於某些場景，可以預先計算光線傳輸數據（例如體積光場），並在渲染過程中使用這些數據來加速渲染過程。

能否將 Normal-GS 的概念擴展到其他基於樣條的渲染技術中，例如點樣條渲染？

是的，Normal-GS 的概念可以擴展到其他基於樣條的渲染技術中，例如點樣條渲染。
Normal-GS 的核心思想是將法線信息直接融入到渲染流程中，並使用基於樣條的函數來表示場景的幾何形狀和外觀。這種思想可以應用於任何使用基於樣條的函數來表示場景的渲染技術。
以點樣條渲染為例，可以將每個點樣條與一個法線向量相關聯，並修改點樣條的渲染方程式，使其考慮法線向量的貢獻。例如，可以使用類似於 Normal-GS 中的 IDIV 方法來模擬入射光照與法線向量的交互，並使用 IDE 方法來捕捉視點相關的高光效果。
此外，Normal-GS 中使用的基於 anchor 的正則化方法也可以應用於點樣條渲染，以確保法線向量的平滑性和一致性。
總之，Normal-GS 的概念為基於樣條的渲染技術提供了一種新的思路，可以有效地提高渲染質量和幾何精確度。將 Normal-GS 的概念擴展到其他基於樣條的渲染技術中，例如點樣條渲染，具有很大的研究價值和應用前景。