Xie, S., Wang, Z., Zhu, Y., & Pan, C. (2024). SuperGS: Super-Resolution 3D Gaussian Splatting via Latent Feature Field and Gradient-guided Splitting. arXiv preprint arXiv:2410.02571v1.
本研究旨在解決現有 3D 高斯樣條函數 (3DGS) 技術在高解析度新視圖合成 (HRNVS) 任務中面臨的挑戰,特別是在處理從低解析度輸入視圖導出的粗糙圖元時遇到的細節損失和偽影問題。
本研究提出了一種名為 SuperGS 的新型兩階段粗到細訓練框架,用於從低解析度輸入視圖進行高解析度新視圖合成。該方法首先在低解析度輸入視圖下優化場景表示,並將其用作後續超解析度優化的初始化。為了對高斯圖元進行上採樣,SuperGS 引入了多解析度特徵高斯樣條函數 (MFGS),它利用基於雜湊的網格構建潛在特徵場,允許透過提供位置和視圖方向來導出新的高斯特徵。此外,還設計了一種梯度引導選擇性分割 (GSS) 策略,僅將無法充分表示其區域的粗糙圖元細分為更精細的圖元,同時保留更平滑、細節較少區域中較大的粗糙圖元。
實驗結果表明,SuperGS 在 NVS 和 HRNVS 任務中均優於現有的最先進方法,同時顯著降低了與儲存大量高斯函數相關的記憶體需求。
SuperGS 為從低解析度輸入進行高解析度新視圖合成提供了一種有效且高效的方法。透過利用預先訓練的低解析度場景表示並採用 MFGS 和 GSS 策略,SuperGS 成功克服了傳統 3DGS 方法的局限性,在保持記憶體效率的同時實現了高保真度結果。
這項研究對計算機視覺和圖形學領域具有重要意義,因為它為增強現實/虛擬實境、自動駕駛和 3D 內容創作等各種應用程式中的高解析度新視圖合成開闢了新的可能性。
該研究的一個潛在局限性是需要使用預先訓練的 2D 超解析度模型來生成用於指導 GSS 過程的偽標籤。未來的研究方向可能探索在沒有這種先驗知識的情況下進一步增強 SuperGS 效能的方法。此外,研究將 SuperGS 擴展到處理動態場景和更複雜照明條件的適用性將是值得關注的研究領域。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問