基於三維高斯樣條函數的動態場景線上重建方法：HiCoM——一種分層式一致性運動方法

Główne pojęcia

本文提出了一種名為 HiCoM 的高效線上動態場景重建框架，該框架利用分層式一致性運動機制和持續優化策略，顯著提升了基於三維高斯樣條函數的動態場景線上重建效率和穩定性。

Streszczenie

論文概述

本論文介紹了一種名為 HiCoM 的新型框架，旨在增強從多視角影片串流線上重建動態場景的效率和穩定性。HiCoM 框架首先通過擾動平滑策略學習緊湊且穩健的初始 3DGS 表示，確保為後續幀學習奠定穩定基礎。然後，它利用三維高斯樣條函數固有的非均勻分佈和局部一致性來實現分層式一致性運動機制。具體來說，將場景劃分為區域，並認識到由於高斯分佈的不均勻性，實際上只有少數區域包含高斯基元。它明確地模擬了這些非空區域內的運動，允許同一區域中的高斯樣條函數共享相同的運動模式。這些區域可以進一步劃分為更小的區域，從而使每個高斯樣條函數的運動由其所在所有級別區域的組合運動決定。這種分層式一致性運動機制可以從粗略到精細地捕捉運動，並且只需要最少的參數集，有利於快速收斂。因此，區域內部和區域之間的固有結構和一致性支持跨幀快速學習場景變化。此外，還引入了額外的高斯樣條函數，以更好地適應場景內容的重大更新。這些新的高斯樣條函數被仔細地整合到初始 3DGS 表示中，以確保與不斷發展的場景保持持續一致性。為了保持 3DGS 的緊湊性，在處理後續幀之前，將刪除相同數量的對場景表示影響最小的低不透明度高斯樣條函數。在兩個廣泛使用的數據集上進行的大量實驗表明，與最先進的方法相比，該框架將學習效率提高了約 20%，並將數據存儲減少了 85%，在實現具有競爭力的自由視點影片合成質量的同時，還具有更高的穩健性和穩定性。此外，通過同時並行學習多個幀，HiCoM 將平均訓練時間縮短至每幀不到 2 秒，而性能下降可忽略不計，大大提高了現實世界的適用性和響應能力。

研究方法

初始 3DGS 表示學習

為了應對動態場景捕捉中常見的有限相機數量問題，HiCoM 採用擾動平滑策略來構建初始 3DGS 表示。具體來說，在訓練過程中，向三維高斯樣條函數的位置屬性添加小的 Gaussian 噪聲，從而防止模型過度擬合有限的訓練視圖。這種方法還有助於減少高斯樣條函數的數量，從而加快後續幀學習的收斂速度。

分層式一致性運動

HiCoM 沒有使用神經網路隱式地預測每個三維高斯樣條函數的運動，而是通過分層式一致性運動機制明確地對運動場進行建模。首先，將場景劃分為大小相同的區域，並根據每個高斯樣條函數的中心位置確定其主要所在的區域。對於包含高斯樣條函數的區域，為其分配平移和旋轉屬性，這些屬性由區域內的高斯樣條函數共享，確保局部一致性。為了適應較小區域內可能存在的細微運動差異，進一步對區域進行劃分，並為這些較小的區域建立不同的運動參數。因此，每個高斯樣條函數的運動由其所屬的多個層級區域的運動累積決定。這種分層式一致性運動機制允許從粗略到精細地捕捉高斯樣條函數的運動，確保更詳細、更準確地表示動態變化，並減少需要優化的參數數量，從而加快學習速度。

持續優化

為了捕捉運動機制可能遺漏的場景變化細節或重大場景內容更新，HiCoM 採用持續優化策略。在運動學習過程中，一些區域會累積顯著的梯度，表明學習到的場景與實際場景之間存在較大差異。在這些梯度累積超過預設閾值的區域中，克隆高斯樣條函數，並對其進行進一步優化和密度控制，以更好地與最新場景保持一致。為了保持 3DGS 表示的緊湊性和效率，在學習下一幀之前，會選擇性地刪除相同數量的對整體視覺完整性影響最小的低不透明度高斯樣條函數。這種持續優化策略確保了隨著場景的發展，3DGS 表示能夠全面且自適應地進行調整。

並行訓練

為了進一步提高效率和響應速度，HiCoM 採用並行訓練策略，同時學習多個幀。由於連續幀之間的差異通常很小，因此選擇幀 t 的 3DGS 作為參考，同時學習幀 {t + 1, ..., t + k}。處理完這些幀後，幀 t + k 的 3DGS 成為學習下 k 幀的新參考。這種並行訓練策略顯著減少了每幀的平均處理時間，同時保持了幾乎相同的質量。

實驗結果

實驗結果表明，與最先進的方法相比，HiCoM 將訓練效率提高了約 20%，並將數據存儲減少了 85%。此外，並行訓練顯著減少了處理時間，而性能下降可忽略不計，從而提高了系統在現實世界應用中的效率和響應能力。

總結

HiCoM 框架通過擾動平滑策略、分層式一致性運動機制和持續優化策略，顯著提升了基於三維高斯樣條函數的動態場景線上重建效率和穩定性。實驗結果驗證了 HiCoM 的有效性和效率，使其成為動態場景線上重建領域的一個有希望的解決方案。

Statystyki

與最先進的方法相比，HiCoM 將學習效率提高了約 20%。
與最先進的方法相比，HiCoM 將數據存儲減少了 85%。
平均而言，HiCoM 可以將每幀的學習時間縮短至不到 2 秒。

Cytaty

Kluczowe wnioski z

HiCoM: Hierarchical Coherent Motion for Streamable Dynamic Scene with 3D Gaussian Splatting

by Qiankun Gao,... o arxiv.org 11-13-2024

https://arxiv.org/pdf/2411.07541.pdf

Głębsze pytania

HiCoM 如何應用於更複雜的動態場景，例如具有快速運動和遮擋的場景？

雖然 HiCoM 在處理一般動態場景中展現出優勢，但在面對快速運動和遮擋等複雜情況時，仍存在挑戰：

快速運動： HiCoM 的分層式一致性運動機制假設相鄰幀之間的運動變化相對較小。當場景中出現快速運動的物體時，此假設可能不成立，導致運動估計不準確，進而影響重建品質。解決此問題的潛在方法包括：

提高時間解析度： 增加輸入視訊的幀率，可以更精確地捕捉快速運動。
運動預測： 引入運動預測機制，預測物體在未來幀中的位置，並以此指導 3D 高斯斑點的運動估計。

遮擋： 當場景中出現遮擋時，HiCoM 可能難以準確地重建被遮擋物體。這是因為 HiCoM 主要依賴於可見的 3D 高斯斑點來進行場景重建。為了解決遮擋問題，可以考慮：

深度資訊： 結合深度資訊，例如使用深度相機或多視角立體視覺技術獲取深度圖，可以幫助 HiCoM 更準確地推斷被遮擋物體的位置和形狀。
時空上下文： 利用時空上下文資訊，例如參考前後幀的場景資訊，可以幫助 HiCoM 補全被遮擋物體的資訊。
總之，將 HiCoM 應用於更複雜的動態場景需要克服快速運動和遮擋帶來的挑戰。透過提高時間解析度、引入運動預測機制、結合深度資訊和利用時空上下文等方法，可以提升 HiCoM 在處理複雜場景時的效能。

HiCoM 的持續優化策略如何應對場景中出現的新物件或消失的物件？

HiCoM 的持續優化策略在處理場景中出現的新物件或消失的物件方面發揮著重要作用：

出現新物件： 當場景中出現新的物件時，僅僅依靠調整現有 3D 高斯斑點的位置和旋轉無法準確地重建場景。HiCoM 的持續優化策略會在運動學習過程中，識別出累積梯度較大的區域，這些區域通常對應著場景中新出現的物件。接著，HiCoM 會在這些區域複製新的 3D 高斯斑點，並對其進行優化，使其適應新物件的外觀和形狀。
物件消失： 當場景中的物件消失時，與之對應的 3D 高斯斑點不再對場景重建做出貢獻。為了維持 3D 高斯斑點的精簡性，HiCoM 會在持續優化過程中，移除不透明度較低的 3D 高斯斑點。這些低不透明度的斑點通常對應著已經消失或被遮擋的物件。
透過持續地添加和移除 3D 高斯斑點，HiCoM 可以動態地調整場景表示，使其適應場景中出現的新物件或消失的物件，從而保持場景重建的精確性和效率。

HiCoM 的分層式一致性運動機制是否可以與其他三維場景表示方法（例如 NeRF）相結合？

HiCoM 的分層式一致性運動機制主要針對 3D 高斯斑點的特性設計，但其核心思想，即利用場景運動的局部一致性來簡化運動表示和加速學習，具有一定的普適性，可以嘗試與其他三維場景表示方法（例如 NeRF）相結合：

NeRF： NeRF 使用神經網路隱式地表示場景，並通過體積渲染技術生成新視角的圖像。與 HiCoM 結合的可能方式包括：

運動場預測： 可以使用 NeRF 預測場景的運動場，然後將運動場應用於 3D 高斯斑點，指導其運動估計。
混合表示： 可以將 NeRF 和 3D 高斯斑點結合起來，使用 NeRF 表示場景的靜態部分，使用 3D 高斯斑點表示動態部分，並利用 HiCoM 的分層式一致性運動機制來簡化動態部分的運動表示。
然而，將 HiCoM 與其他三維場景表示方法結合也面臨一些挑戰：

表示差異： HiCoM 的分層式一致性運動機制是針對 3D 高斯斑點的離散表示設計的，而 NeRF 使用的是連續的場景表示。如何將 HiCoM 的運動機制有效地應用於連續的場景表示是一個需要解決的問題。
計算複雜度： NeRF 通常比 3D 高斯斑點的計算複雜度更高。將 HiCoM 與 NeRF 結合可能會增加系統的計算負擔，影響實時性能。
總之，將 HiCoM 的分層式一致性運動機制與其他三維場景表示方法結合是一個值得探索的方向，但需要克服表示差異和計算複雜度等挑戰。透過設計合理的結合策略，可以充分利用 HiCoM 的優勢，提升其他三維場景表示方法在處理動態場景時的效率和效果。