基於自適應且時間一致性高斯表面的多視角動態重建

Centrala begrepp

本文提出了一種名為 AT-GS 的新型高效方法，用於從多視角影片中重建具有時間一致性的高品質動態表面。

Sammanfattning

研究目標
本研究旨在開發一種從多視角影片中高效且時間一致地重建動態表面的新方法，解決現有方法在處理複雜動態場景（如顯著拓撲變化和瞬態物件）時遇到的挑戰。
方法
本研究提出了一種名為 AT-GS 的新型方法，該方法採用逐幀增量優化流程，基於高斯表面表示來重建動態場景。

首先，使用標準靜態多視角重建技術從運動結構 (SfM) 或隨機初始化生成的稀疏點雲訓練序列的第一幀，將場景表示為高斯表面。

對於每個後續幀 t，從前一幀 t-1 的高斯表面開始，並使用從粗到精的策略將其有效地適應當前幀。

在粗略階段，僅更新高斯表面的中心和旋轉。訓練一個每幀神經變換快取 (NTC)，該快取由多分辨率雜湊編碼和淺層 MLP 組成，將空間位置映射到 SE(3) 變換。

在精細階段，細化高斯表面的所有可學習參數（中心、旋轉、比例、視圖相關顏色和不透明度），同時允許修剪和自適應梯度引導的密集化，以捕捉精細細節並適應新物件。

為了確保隨時間推移表面重建的穩定性和一致性，採用基於曲率的時間一致性方法。

優化後，使用 alpha 混合渲染顏色、深度、法線和不透明度貼圖。渲染的深度貼圖在全局 3D 空間中進行反向投影和合併，形成點雲，並從渲染的法線貼圖中導出法線。

最後，應用篩選泊松重建從未投影的深度和法線貼圖生成表面網格。
主要發現

與現有方法相比，AT-GS 在動態場景重建方面實現了卓越的準確性和時間一致性，即使在複雜且具有挑戰性的場景中也能提供高保真度的時空新視圖合成。

在多個多視角影片資料集（包括 DNA-Rendering 和 NHR 資料集）上進行的實驗證明了 AT-GS 的有效性，與基準方法相比具有明顯優勢。
主要結論
AT-GS 為從多視角影片中進行高效、高保真度的動態表面重建提供了一種新穎且有效的方法。通過引入統一的梯度感知密集化策略和基於曲率的時間一致性方法，AT-GS 克服了現有方法的局限性，並在各種複雜動態場景中表現出優異的效能。
意義
本研究通過提出 AT-GS 對動態場景重建領域做出了重大貢獻，AT-GS 是一種高效且時間一致的方法，在處理具有顯著拓撲變化和瞬態物件的複雜場景方面優於現有技術。
局限性和未來研究方向

由於本研究側重於快速動態重建，因此每幀的訓練迭代次數有限，這可能會影響處理極具挑戰性的物件（例如裙子上的小亮片）的效能。

由於每個幀的高斯表面表示是單獨儲存的，因此儲存開銷與影片長度成線性關係，這降低了超長序列的儲存效率。
未來研究方向包括解決這些局限性，並探索將 AT-GS 應用於其他領域，例如機器人技術、自動駕駛和虛擬現實。

Statistik

在 DNA-Rendering 資料集上，訓練時間約為每幀 37.5 秒。
在 NHR 資料集上，訓練時間約為每幀 31.7 秒。
在粗略階段，神經變換快取的學習率設定為 0.002。
在精細階段，高斯表面的統一、自適應密集化從迭代 230 開始，到迭代 600 結束，密集化間隔為 30 次迭代。
高斯表面不透明度重置間隔設定為 200 次迭代。
對於 NHR 資料集，球諧函數次數設定為 1；對於 DNA-Rendering 資料集，球諧函數次數設定為 2，因為後者包含更多非朗伯物件。
損失函數中，λo 設定為 0.01，λm 設定為 0.1。
隨著訓練的進行，λm 從 0.01 逐漸增加到 0.11，而 λt 從 0.04 線性衰減到 0.02。

Viktiga insikter från

Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction

by Decai Chen, ... på arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.06602.pdf

Djupare frågor

如何將 AT-GS 方法擴展到處理更複雜的動態場景，例如包含大量互動物件或經歷極端變形的場景？

將 AT-GS 方法擴展到更複雜的動態場景是一個值得探討的研究方向，以下列出幾種可能的策略：

增強模型的表達能力:

針對大量物件，可以考慮將場景分解成多個部分，例如基於語義分割或實例分割，然後分別對每個部分進行重建，最後再將各部分融合。
對於極端變形，可以考慮使用更複雜的變形模型，例如非剛性變形模型或基於學習的變形模型，以更好地捕捉物件的形狀變化。

改進時間一致性約束:

傳統的光流估計方法在處理遮擋和快速運動時容易出現錯誤，可以考慮使用更魯棒的光流估計方法，例如基於深度學習的光流估計方法。
除了曲率一致性約束外，還可以考慮引入其他幾何一致性約束，例如法線一致性約束、深度一致性約束等，以進一步提高重建結果的時間穩定性。

引入先驗知識:

對於特定類型的場景，例如人體運動場景，可以考慮引入人體運動的先驗知識，例如人體骨骼模型、運動捕捉數據等，以指導重建過程。
對於包含已知物件的場景，可以考慮使用物件識別和姿態估計技術，先識別出場景中的物件，然後利用物件的先驗模型進行重建。

需要注意的是，處理更複雜的動態場景通常需要更高的計算成本和更複雜的算法。因此，在實際應用中需要根據具體的場景和需求進行權衡。

如果沒有可用的多視角影片，僅有單目影片，AT-GS 方法是否仍然適用？如何調整方法以適應單目輸入？

AT-GS 方法主要依賴於多視角資訊來進行三維重建，因此直接應用於單目影片會面臨挑戰。若要適應單目輸入，需要進行以下調整：

深度估計: 由於缺少多視角資訊，需要額外引入深度估計模組。可以使用基於學習的單目深度估計方法，例如 Monodepth2 [1]、ManyDepth [2] 等，為每一幀生成深度圖。
姿態估計: 單目影片需要額外進行相機姿態估計，可以使用單目視覺里程計 (VO) 或 SLAM 技術，例如 ORB-SLAM [3]、DSO [4] 等，來估計相機的運動軌跡。
時間一致性約束: 由於單目重建的深度和姿態估計容易出現誤差，需要更加重視時間一致性約束。可以考慮使用更強的約束條件，例如將時間一致性約束應用於三維空間中的點雲或體素，而不是僅僅應用於二維圖像空間。

總之，將 AT-GS 方法應用於單目影片需要引入額外的深度估計和姿態估計模組，並加強時間一致性約束。這將增加算法的複雜度，並且重建結果的精度和完整性可能會受到影響。

AT-GS 方法的計算成本如何隨著場景複雜度和影片長度的增加而變化？是否有可能在保持重建品質的同時進一步優化其效率？

AT-GS 方法的計算成本主要受以下因素影響：

場景複雜度: 場景中包含的物件數量、幾何細節、材質複雜度等都會影響計算成本。場景越複雜，需要的 Gaussian Surfels 數量越多，訓練時間也越長。
影片長度: 影片的幀數越多，需要處理的數據量越大，計算成本也越高。
高斯元的數量: 高斯元的數量直接影響渲染和優化的效率。高斯元越多，計算量越大。

以下是一些可以優化 AT-GS 方法效率的策略：

自適應高斯元密度: 可以根據場景的局部複雜度動態調整高斯元的密度，例如在細節豐富的區域使用更多高斯元，而在平坦區域使用更少高斯元。
基於學習的加速: 可以使用神經網路來學習場景的表示或優化過程，例如使用神經網路來預測高斯元的參數或加速光線追蹤過程。
並行計算: AT-GS 方法的很多步驟都可以進行並行計算，例如高斯元的渲染、優化等。可以利用 GPU 等并行計算設備來加速這些步驟。
關鍵幀技術: 可以只對影片中的關鍵幀進行重建，然後使用插值等方法生成其他幀，以減少計算量。

通過以上優化策略，可以在保持重建品質的同時，降低 AT-GS 方法的計算成本，使其更适用于處理複雜場景和長影片。
參考文獻:
[1] Godard, C., Mac Aodha, O., Firman, M., & Brostow, G. J. (2019). Digging into self-supervised monocular depth estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 3828-3838).
[2] Li, J., & Snavely, N. (2018). Megadepth: Learning single-view depth prediction from internet photos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 2041-2050).
[3] Mur-Artal, R., & Tardós, J. D. (2017). Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras. IEEE Transactions on Robotics, 33(5), 1255-1262.
[4] Engel, J., Koltun, V., & Cremers, D. (2018). Direct sparse odometry. IEEE transactions on pattern analysis and machine intelligence, 40(3), 611-625.