一種針對 3D 高斯樣條壓縮的分層壓縮技術

核心概念

本文提出了一種名為 HGSC 的分層壓縮技術，透過修剪不重要的高斯圖元、使用八叉樹壓縮 3D 位置以及採用分層策略壓縮屬性，有效地壓縮了 3D 高斯樣條數據，在保持高渲染品質的同時顯著減小了數據大小。

摘要

論文概述

本論文提出了一種名為 HGSC 的分層壓縮技術，用於壓縮 3D 高斯樣條（GS）數據。3D GS 是一種新興的基於點的場景表示方法，具有高渲染品質和快速訓練速度的優點，但其龐大的數據量也為存儲和傳輸帶來了挑戰。

現有方法的不足

現有的 3D GS 壓縮研究主要集中在開發更緊湊的場景表示形式，例如將顯式 3D GS 數據轉換為隱式形式，而對 GS 數據本身的壓縮卻鮮有研究。

HGSC 技術的優勢

HGSC 技術通過以下三個關鍵步驟實現了高效的 3D GS 數據壓縮：

1. 高斯圖元修剪: 根據全局和局部顯著性評估圖元重要性分數，修剪掉對最終渲染品質影響較小的圖元，有效減少數據冗餘。
2. 幾何壓縮: 採用八叉樹結構壓縮 3D 位置信息，並通過對重構點重新著色來保持顏色一致性。
3. 屬性壓縮: 基於 3D GS 八叉樹，採用分層壓縮策略。首先使用 KD 樹將 3D GS 分割成多個塊，並應用最遠點採樣 (FPS) 選擇錨點圖元和生成不同細節層次 (LoD) 的圖元。然後，使用區域自適應分層變換 (RAHT) 對錨點圖元的屬性進行近無損壓縮，並根據 k 個最近的錨點圖元預測非錨點圖元的屬性。最後，量化並編碼預測屬性和真實屬性之間的差異。

實驗結果

實驗結果表明，與現有方法相比，HGSC 技術在保持高渲染品質的同時，顯著減小了數據大小，並縮短了處理時間。

未來方向

未來研究方向包括進一步降低時間複雜度和探索更先進的壓縮技術。

統計資料

與原始 3D GS 相比，HGSC 技術在小型場景數據集上實現了超過 4.5 倍的數據壓縮。
HGSC 技術的解碼時間約為 2 秒。
約 60% 的高斯圖元僅佔總重要性的不到 20%。

引述

"3D Gaussian Splatting (GS) [1] has demonstrated substantial advances in the field of novel view synthesis due to its impressive visual quality with ultra fast training speed."
"However, explicit point-based representations inherently result in significant storage overhead, as each point and its associated attributes must be stored independently."
"Our method notably achieves superior compression quality and a significant data size reduction of over 4.5× compared to the state-of-the-art compression method on small scenes datasets."

從以下內容提煉的關鍵洞見

A Hierarchical Compression Technique for 3D Gaussian Splatting Compression

by He Huang, We... 於 arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.06976.pdf

深入探究

如何將 HGSC 技術應用於動態場景的 3D 高斯樣條壓縮？

將 HGSC 技術應用於動態場景的 3D 高斯樣條壓縮是一個值得探討的方向，需要克服一些挑戰並進行相應的改進：

時域冗餘的利用: 動態場景在時間維度上存在大量冗餘信息。可以考慮將視頻壓縮中的概念引入 HGSC，例如：

運動估計和運動補償: 利用相鄰幀之間的運動信息，預測當前幀的高斯樣條參數，並僅僅存儲殘差信息。
關鍵幀技術: 類似於視頻壓縮，僅僅存儲關鍵幀的完整高斯樣條信息，其他幀則通過插值或預測得到。

動態場景的數據結構: Octree 結構對於靜態場景非常有效，但對於動態場景，需要考慮更靈活的數據結構來處理高斯樣條的變化，例如：

動態 Octree: 允許 Octree 結構隨時間動態調整，以適應場景的變化。
基於八叉樹的時空塊: 將時空信息結合起來，將場景劃分為時空塊，並在塊內進行壓縮。

時域一致性: 壓縮後的動態場景需要保持時域上的一致性，避免出現閃爍或跳變等問題。可以考慮：

時域濾波: 對壓縮後的數據進行時域濾波，平滑時間上的變化。
運動軌跡約束: 在壓縮過程中考慮高斯樣條的運動軌跡，使其在時間上保持平滑。

總之，將 HGSC 技術應用於動態場景需要綜合考慮時域和空間的冗餘信息，並設計相應的算法和數據結構來實現高效的壓縮。

如果犧牲部分渲染品質來換取更高的壓縮率，HGSC 技術還有哪些可以改進的地方？

若要犧牲部分渲染品質來換取更高的壓縮率，HGSC 技術可以從以下幾個方面進行改進：

更激進的高斯樣條剪枝: 可以通過提高剪枝閾值 τ% 來剔除更多的高斯樣條，從而減小數據量。但這需要更精確地評估高斯樣條的重要性，以盡量保留對視覺效果影響較大的部分。
更低比特率的屬性量化: 可以降低量化比特深度，以減少存儲屬性信息所需的比特數。然而，這會降低重建後屬性的精度，影響渲染品質。可以探索更先進的量化策略，例如感知量化，在保證視覺效果的同時盡可能降低比特率。
簡化層次化壓縮策略: 可以減少 LoDs 的數量或降低 anchor primitives 的採樣率，以減少存儲空間。但這會降低預測的準確性，影響渲染品質。可以根據場景的具體情況，自適應地調整層次化壓縮策略，在壓縮率和渲染品質之間取得平衡。
探索更激進的 Octree 压缩: 可以嘗試增加 Octree 的深度 d 或使用更紧凑的编码方式来进一步压缩几何信息。但这可能会导致重建后的几何形状失真，影响渲染效果。

需要注意的是，以上改進方法都會在一定程度上犧牲渲染品質。因此，需要根據具體應用場景的需求，在壓縮率和渲染品質之間進行權衡，選擇合適的改進策略。

在虛擬現實和增强現實等應用中，HGSC 技術如何與其他數據壓縮技術相結合，以實現更佳的用戶體驗？

在虛擬現實和增强現實等應用中，對低延遲和高保真度的要求非常高，僅僅依靠 HGSC 技術難以滿足需求。可以將 HGSC 與其他數據壓縮技術相結合，以實現更佳的用戶體驗：

與視頻壓縮技術結合: 虛擬現實和增强現實應用中通常需要渲染大量的視頻數據。可以將 HGSC 壓縮後的 3D 場景數據與視頻壓縮技術（如 H.265、AV1）相結合，以減少傳輸數據量和解码壓力。例如，可以將 HGSC 用于压缩关键帧的 3D 场景，而使用视频压缩技术压缩其他帧的渲染结果。
與圖像壓縮技術結合: 可以將 HGSC 與圖像壓縮技術（如 JPEG、WebP）相結合，以壓縮渲染後的 2D 圖像。例如，可以將 HGSC 用于压缩 3D 场景的几何信息和部分关键属性，而使用图像压缩技术压缩渲染后的颜色信息。
與感知編碼技術結合: 可以利用人類視覺系統的特性，對 HGSC 壓縮後的數據進行感知編碼，以進一步提高壓縮效率。例如，可以根據人眼對不同頻率信息的敏感度，對高斯樣條的屬性進行不同程度的量化。
與邊緣計算技術結合: 可以將部分 HGSC 解碼和渲染任務放到邊緣設備上進行，以減少網絡傳輸壓力和延遲。例如，可以將 3D 场景的低分辨率版本预先缓存在边缘设备上，用户请求时再动态加载高分辨率版本。

總之，在虛擬現實和增强現實等應用中，需要綜合利用各種數據壓縮技術，並結合具體的應用場景和需求，才能實現最佳的用戶體驗。 HGSC 作為一種新興的 3D 數據壓縮技術，具有很大的發展潛力，相信在未來會與其他技術更好地融合，為用戶帶來更加身臨其境的體驗。