基於視圖一致性的雙目引導三維高斯散射稀疏視圖合成

核心概念

本文提出了一種基於視圖一致性的雙目引導三維高斯散射方法，用於從稀疏視圖合成新視圖，無需外部先驗作為監督，並通過實驗證明了其在渲染質量和效率方面優於現有方法。

摘要

論文信息
Liang Han, Junsheng Zhou, Yu-Shen Liu, Zhizhong Han. Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis. Advances in Neural Information Processing Systems, 2024.
研究目標
本研究旨在解決從稀疏輸入視圖合成新視圖這一計算機視覺中的重要挑戰，並提出一種基於三維高斯散射的新方法，無需外部先驗信息，即可高效、高質量地合成新視圖。
方法

雙目立體一致性約束:

為了學習更精確的高斯場景幾何形狀，該方法利用了雙目立體一致性中固有的自監督信息來約束三維高斯散射的渲染深度。
首先將一個輸入視圖的相機稍微平移到左側或右側，以獲得一個平移視圖，並從中渲染出三維高斯散射的圖像和深度。
渲染的圖像和輸入圖像形成一個左右視圖對，利用渲染的深度和已知的相機內參計算視圖對的視差。
使用視差將平移視圖的渲染圖像扭曲到輸入圖像的視點，並約束扭曲圖像和輸入圖像之間的一致性。

高斯不透明度衰減策略:

為了減少場景表面附近冗餘的高斯點並提高新視圖合成的質量和效率，該方法提出了一種高斯不透明度的衰減方案。
在訓練過程中，對高斯的不透明度屬性應用一個衰減係數，從而懲罰不透明度。
不透明度梯度較低的高斯點（即不透明度增加量小於衰減量）被修剪，而不透明度梯度較高的高斯點（即不透明度增加量大於衰減量）被保留。

密集點雲初始化:

為了在對稀疏視圖進行優化時獲得更好的幾何初始化以提高三維高斯散射質量，該方法使用預先訓練好的關鍵點匹配網絡生成密集的初始化點雲。
密集的點雲更準確地描述了場景的幾何形狀，防止了高斯點出現在遠離場景表面的位置，特別是在低紋理區域，從而提高了新視圖合成的質量。
主要結果

在 LLFF、DTU 和 Blender 數據集上進行的大量實驗表明，該方法在 PSNR、SSIM 和 LPIPS 等指標上顯著優於現有的稀疏視圖合成方法。
實驗結果證明，該方法能夠從稀疏視圖中合成高質量的新視圖，並在渲染質量和效率方面優於現有方法。
意義

本研究提出了一種基於視圖一致性的雙目引導三維高斯散射方法，為稀疏視圖合成提供了一種新的思路。
該方法無需外部先驗信息，即可高效、高質量地合成新視圖，具有重要的應用價值。
局限性

由於該方法利用視圖一致性約束來估計場景深度，因此一些紋理較低的場景區域可能會導致深度估計不準確，從而無法有效地約束相應的高斯點。

統計資料

在 LLFF 數據集上，使用 3 個、6 個和 9 個輸入視圖時，該方法的 PSNR 分別比現有最佳方法提高了 0.10dB、0.62dB 和 0.86dB。
在 DTU 數據集上，使用 3 個、6 個和 9 個輸入視圖時，該方法的 PSNR 分別比現有最佳方法提高了 0.40dB、0.57dB 和 1.42dB。

從以下內容提煉的關鍵洞見

Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis

by Liang Han, J... 於 arxiv.org 10-25-2024

https://arxiv.org/pdf/2410.18822.pdf

深入探究

如何將該方法擴展到更稀疏的視圖輸入，例如只使用兩個視圖？

將此方法擴展到僅使用兩個視圖輸入的情況下會面臨挑戰，主要原因如下：

雙目立體一致性約束的限制: 該方法的核心依賴於構建雙目視圖對來提供自監督信號。當只有兩個視圖時，構建有效的雙目視圖對變得困難。簡單地平移其中一個視圖會導致視差信息不足，難以準確約束場景幾何。
場景幾何的模糊性: 僅憑兩個視圖，場景幾何的解空間很大，容易產生歧義。這意味著即使使用密集點雲初始化，也難以保證高斯斑點分佈在正確的空間位置。
遮擋問題: 兩個視圖的信息量有限，遮擋問題會更加嚴重。未能在訓練視圖中觀察到的區域缺乏約束，導致新視圖合成時出現偽影。

為了應對這些挑戰，可以考慮以下擴展方向：

引入額外的先驗信息: 可以結合其他先驗信息來彌補雙目視圖對信息不足的問題，例如稀疏深度圖、語義分割結果等。這些先驗信息可以提供場景幾何的額外約束，幫助高斯斑點更準確地分佈。
探索新的視圖一致性約束: 可以研究設計新的視圖一致性約束，使其適用於兩個視圖的情況。例如，可以考慮利用圖像中的語義信息或其他幾何線索來構建約束。
結合其他三維場景表示方法: 可以將該方法與其他三維場景表示方法（例如 NeRF）相結合，利用其優勢來彌補雙目視圖輸入的不足。例如，可以使用 NeRF 來生成更精確的深度圖，然後用於指導高斯斑點的優化。

如果輸入視圖中存在較大的遮擋，該方法的性能會受到怎樣的影響？

如果輸入視圖中存在較大的遮擋，該方法的性能會受到一定程度的影響，主要體現在以下幾個方面：

深度估計誤差: 由於遮擋區域缺乏可見信息，雙目立體匹配算法難以準確估計這些區域的深度。這會導致基於視圖一致性約束的深度監督信號不準確，進而影響高斯斑點的位置優化。
高斯斑點分佈不均勻: 遮擋區域的高斯斑點缺乏有效的約束，容易出現分佈不均勻的情況。這可能導致新視圖合成時，遮擋區域的細節還原不佳，出現模糊或偽影。
訓練效率降低: 為了彌補遮擋帶來的信息缺失，模型需要更多的迭代次數才能收斂到較優的結果，從而降低訓練效率。

為了解決遮擋帶來的問題，可以考慮以下策略：

利用時序信息: 如果輸入是視頻序列，可以利用時序信息來補全遮擋區域的深度信息。例如，可以使用光流法或三維運動估計來推斷遮擋區域的運動軌跡，進而推斷其深度。
結合其他深度估計方法: 可以結合其他深度估計方法，例如基於單目深度估計網絡的方法，來提供更魯棒的深度信息。
設計更先進的損失函數: 可以設計更先進的損失函數，例如考慮遮擋感知的損失函數，來減輕遮擋對模型訓練的影響。
總之，遮擋問題是三維場景重建中的一個普遍難題。雖然該方法在處理遮擋方面存在一定的局限性，但可以通過結合其他技術手段來有效地減輕其影響。

該方法能否與其他三維場景表示方法（例如 NeRF）相結合，以進一步提高新視圖合成的質量？

將該方法與其他三維場景表示方法（例如 NeRF）相結合，的確是一個很有潛力的研究方向，可以充分利用各自的優勢來進一步提高新視圖合成的質量。以下是一些可能的結合方式：

以 NeRF 引導高斯斑點的初始化和優化:

初始化: 可以利用 NeRF 生成高質量的深度圖，並以此指導高斯斑點的初始位置分佈，使其更接近場景表面。
優化: 在訓練過程中，可以使用 NeRF 預測的深度信息作為額外的監督信號，與雙目立體一致性約束一起指導高斯斑點的位置和屬性優化。

將高斯斑點作為 NeRF 的先驗信息:

可以將訓練好的高斯斑點模型作為 NeRF 的先驗信息，例如用於約束 NeRF 的密度場或顏色場，使其更符合場景的幾何結構。

混合表示方法:

可以將高斯斑點和 NeRF 結合起來，形成一種混合表示方法。例如，可以使用高斯斑點表示場景中的高頻細節，而使用 NeRF 表示低頻信息，從而獲得更精細的場景表示。

優勢互補:

NeRF 在處理複雜光照和材質方面具有優勢，而高斯斑點則在渲染效率和可編輯性方面更具優勢。結合兩者可以實現更高質量和更高效的新視圖合成。

總之，將該方法與 NeRF 等其他三維場景表示方法相結合，具有很大的探索空間，可以有效地克服各自的局限性，進一步提高新視圖合成的質量和效率。