縮放反向圖形學：高效學習大型 3D 場景集

核心概念

本文提出了一種名為「縮放反向圖形學」的框架，旨在利用一種新穎的雙階段方法，透過在潛在空間中學習 NeRF 表示來壓縮場景資訊，並在場景之間共享資訊以減少 NeRF 表示的複雜性，從而有效地學習大量 3D 場景。

摘要

論文摘要

本研究論文介紹了一種名為「縮放反向圖形學」的新方法，旨在解決現有反向圖形學技術難以有效學習大型場景集的問題。

研究問題

現有的反向圖形學技術主要關注於學習單一場景的表示，而學習大型場景集一直是 NeRF 發展的瓶頸，因為在資源成本方面，重複將反向圖形學應用於一系列場景仍然非常昂貴。

方法

為了解決這個問題，本文提出了一種雙階段方法：

1. 訓練壓縮模型： 在場景子集上訓練一個壓縮模型，將場景表示壓縮到一個較小的潛在空間中。
2. 訓練 NeRF 模型： 在壓縮後的較小表示上訓練 NeRF 模型，從而減少每個新場景的優化空間。

具體來說，該方法採用了 Tri-Plane 表示法，並提出了一種新穎的「微觀-宏觀」分解方法，將學習到的特徵分為建模數據集中場景的一般資訊的共享特徵和特定於場景的特徵。同時，該方法在 3D 潛在空間中學習場景，從而減輕 NeRF 渲染瓶頸並加速訓練。

結果

實驗結果表明，與其他獨立應用於每個場景的方法相比，該方法在縮放反向圖形學中同時呈現出最低的訓練時間和內存佔用，同時保持了與 Tri-Planes 相當的視圖合成品質。

結論

本研究提出了一種解決縮放反向圖形學問題的新方法，透過壓縮場景表示和共享資訊，有效地學習了大型 3D 場景集，並在資源成本和渲染品質之間取得了良好的平衡。

統計資料

與獨立應用於每個場景的其他方法相比，該方法在縮放反向圖形學中呈現出最低的訓練時間和內存佔用。
與 Tri-Planes 相比，該方法在學習大量場景時，將學習單個場景所需的訓練時間減少了 86%，將內存成本降低了 68%，同時保持了相當的視圖合成品質。
使用該方法進行渲染所需的時間減少了 98%，產生 RGB 圖像所需的時間總體上減少了 56%。

引述

“我們將「縮放反向圖形學」定義為在大量場景集上同時應用反向圖形學的任務。”
“在本文中，我們介紹了一種解決縮放反向圖形學問題的新技術。”
“我們的目標是壓縮學習大型場景集時學習單個場景所需的資訊。”

從以下內容提煉的關鍵洞見

Scaled Inverse Graphics: Efficiently Learning Large Sets of 3D Scenes

by Kari... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2410.23742.pdf

深入探究

除了 NeRF 和 Tri-Planes 之外，還有哪些其他 3D 場景表示方法適用於縮放反向圖形學？

除了 NeRF 和 Tri-Planes，以下 3D 場景表示方法也適用於縮放反向圖形學：

Voxel-based representations (基於體素的表示法): 此方法將場景劃分為 3D 網格，並將每個網格單元 (voxel) 的資訊儲存起來。雖然體素表示法可以有效地表示場景的幾何形狀，但其記憶體需求會隨著場景解析度增加而快速增長。

優點: 簡單易懂、易於實現。
缺點: 記憶體需求大、難以表示高解析度場景。
適用於縮放反向圖形學的改進: Octree-based representations (基於八叉樹的表示法) 可以透過將空體素壓縮來減少記憶體需求，例如 PlenOctrees。

Mesh-based representations (基於網格的表示法): 此方法使用三角形或多邊形網格來表示場景的表面。網格表示法可以有效地表示複雜的幾何形狀，並且在電腦圖學中被廣泛使用。

優點: 可以表示複雜的幾何形狀、記憶體需求相對較低。
缺點: 難以處理動態場景、難以表示精細的細節。
適用於縮放反向圖形學的改進: 可變形網格 (Deformable meshes) 可以透過改變網格的頂點位置來表示動態場景。

Implicit Neural Representations (隱式神經表示法): 除了 NeRF 和 Tri-Planes，還有其他隱式神經表示法，例如：

Occupancy Networks (佔用網路): 此方法使用神經網路來預測空間中每個點是否被場景佔據。
Signed Distance Functions (SDF, 符號距離函數): 此方法使用神經網路來預測空間中每個點到場景表面的符號距離。
選擇哪種 3D 場景表示方法取決於具體的應用場景和需求。例如，如果需要高解析度的場景表示，則體素表示法可能不是最佳選擇。如果需要表示動態場景，則網格表示法可能更為合適。

如果訓練數據集中的場景差異很大，該方法的性能會如何變化？

如果訓練數據集中的場景差異很大，該方法的性能可能會下降。這是因為該方法依賴於學習場景之間的共同結構來壓縮場景表示。如果場景差異很大，則共同結構會減少，導致壓縮效率降低，進而影響 NVS 渲染品質。
以下是一些可能發生的情況：

學習到的共享特徵 (Macro Planes) 缺乏代表性: 當場景差異很大時，模型難以找到所有場景都共有的特徵。這會導致 Macro Planes 無法有效地捕捉場景的共同結構，進而影響重建品質。
場景特定特徵 (Micro Planes) 的負擔加重: 由於 Macro Planes 缺乏代表性，模型會更依賴 Micro Planes 來表示場景的獨特資訊。這會導致 Micro Planes 的記憶體需求增加，降低壓縮效率。
為了解決這個問題，可以考慮以下方法：

使用更複雜的模型架構: 可以嘗試使用更深或更廣的神經網路來提高模型的表達能力，使其能夠學習更複雜的共同結構。
對場景進行分群: 可以根據場景的相似性將其分組，並為每個群組訓練一個獨立的模型。這樣可以提高每個模型的壓縮效率，因為每個模型只需要學習該群組內場景的共同結構。
使用混合表示法: 可以結合不同的 3D 場景表示方法來更好地表示不同類型的場景。例如，可以使用 Tri-Planes 來表示場景的共同結構，並使用 NeRF 來表示場景的獨特細節。

這種高效學習 3D 場景的方法如何應用於需要即時渲染的領域，例如虛擬實境或擴增實境？

雖然該方法在壓縮場景表示和加速訓練方面表現出色，但要將其應用於需要即時渲染的領域（如虛擬實境或擴增實境）仍面臨挑戰。
主要挑戰在於：

渲染速度: 儘管該方法的渲染速度比傳統 NeRF 快，但仍無法滿足即時渲染的需求。尤其是在需要高解析度和高幀率的 VR/AR 應用中，該方法的渲染速度會成為瓶頸。
動態場景: 該方法主要針對靜態場景設計。對於動態場景，需要更新場景表示，這會導致額外的計算成本。
為了解決這些挑戰，可以考慮以下方向：

模型量化和剪枝: 可以透過量化模型權重或剪枝不重要的網路連接來減少模型的大小和計算量，進而提高渲染速度。
模型蒸餾: 可以使用該方法訓練一個大型的教師模型，然後使用蒸餾技術將其知識遷移到一個更小、更快的學生模型，以滿足即時渲染的需求。
與其他技術結合: 可以將該方法與其他加速渲染的技術結合，例如光線追蹤 (Ray Tracing) 或光場渲染 (Light Field Rendering)，以提高渲染效率。
動態場景表示: 可以探索將該方法擴展到動態場景的方法，例如使用時間序列模型或可變形 NeRF 來表示場景的變化。
總之，要將該方法應用於 VR/AR 等需要即時渲染的領域，需要進一步的研究和開發。