Core Concepts
本論文提出了一種利用3D Gaussian Splatting (3DGS)實現高效且一致的3D物體移除方法。該方法通過融合單目深度估計和跨注意力特徵傳播來解決3DGS在幾何一致性和紋理連續性方面的挑戰。
Abstract
本論文提出了一種名為GScream的框架,利用3D Gaussian Splatting (3DGS)實現高效且一致的3D物體移除。主要包括以下創新點:
-
幾何一致性:
- 通過融合單目深度估計,優化3DGS中Gaussian位置,提高幾何精度。
- 採用在線深度對齊策略,進一步優化移除區域與周圍區域的幾何一致性。
-
紋理連續性:
- 提出雙向跨注意力機制,在可見區域和移除區域之間傳播3D特徵信息,確保移除區域與周圍區域的紋理連續性。
- 該機制利用3DGS的顯式特性,有效補充了基於2D先驗的監督方法。
-
效率提升:
- 採用輕量級的Scaffold-GS作為基礎模型,大幅提升了訓練和渲染效率。
實驗結果表明,與現有基於NeRF的方法相比,GScream在渲染質量和訓練效率方面都有顯著提升。
Stats
我們的方法在PSNR、SSIM和LPIPS指標上均優於現有的NeRF系列方法。
與SPIn-NeRF和OR-NeRF相比,我們的訓練時間分別縮短了1.5倍和4倍。
Quotes
"我們的方法不僅提高了移除物體場景的新視角合成質量,而且在訓練和渲染速度上也展現了顯著的效率提升。"
"我們的創新框架GScream利用3D Gaussian Splatting實現了高效且一致的3D物體移除,在渲染質量和訓練效率方面都優於現有的NeRF系列方法。"