洞見 - Computervision - # 三維重建、透明物體、神經隱式表面

從透明到不透明：利用 α-NeuS 重新思考神經隱式表面

Q: α-NeuS 如何與其他處理複雜光照條件（例如強反射或折射）的技術相結合，以進一步提高其在更廣泛場景中的適用性？

α-NeuS 的主要限制之一是無法處理複雜的光照條件，例如強反射或折射。這是因為在這些情況下，反射和折射會在學習到的距離場中產生歧義，導致無法提取理想的表面。為了提高 α-NeuS 在更廣泛場景中的適用性，可以考慮將其與其他處理複雜光照條件的技術相結合，例如： 反射移除技術: 可以使用現有的反射移除算法，例如 [42] 中提到的學習型雙視圖反射移除方法，在輸入多視圖圖像到 α-NeuS 之前預先去除反射成分。這可以減少反射對距離場學習的干擾，提高重建精度。 基於物理的渲染技術: 可以將 α-NeuS 與基於物理的渲染技術（PBR）相結合，例如路徑追踪或光線追踪，以更準確地模擬光線在場景中的傳播。這可以提高對反射和折射的處理能力，生成更逼真的渲染結果。 考慮反射和折射的神經渲染方法: 可以考慮使用其他專門處理反射和折射的神經渲染方法來代替 NeuS 作為 α-NeuS 的骨幹網絡。例如，Ref-NeuS [28] 和 ReNeuS [8] 分別考慮了反射和折射對不透明物體重建的影響。將這些方法與 α-NeuS 的核心思想（利用距離場的局部極值來區分透明和不透明表面）相結合，可以開發出更強大的重建方法。 多階段重建策略: 可以採用多階段重建策略，首先使用 α-NeuS 重建場景中的不透明物體和粗略的透明物體形狀，然後使用其他專門處理透明物體的方法來優化透明物體的形狀和材質。 總之，將 α-NeuS 與其他處理複雜光照條件的技術相結合，可以克服其現有局限性，提高其在更廣泛場景中的適用性。

Q: 如果直接使用基於 UDF 的神經渲染方法（例如 NeRF++），是否可以簡化 α-NeuS 的流程並提高效率，同時保持重建質量？

直接使用基於 UDF 的神經渲染方法（例如 NeRF++）並不能簡化 α-NeuS 的流程或提高效率，同時也難以保持重建質量。 雖然 α-NeuS 在表面提取階段使用了類似 UDF 的絕對距離場，但選擇 NeuS 作為骨幹網絡的原因在於： SDF 學習方法更穩定和魯棒: 與 UDF 相比，SDF 學習方法（如 NeuS）通常更穩定和魯棒，更容易收斂到理想的結果。這是因為 SDF 的符號信息可以提供更強的約束，幫助網絡更好地學習場景的幾何形狀。 NeuS 能夠更好地重建細節: NeuS 在重建細節方面表現出色。而 UDF 學習方法由於缺乏符號信息，在處理薄結構或高頻細節時可能會遇到困難。 NeRF++ 不適用於多層表面渲染: NeRF++ 等基於 UDF 的方法通常假設單條射線只與場景表面相交一次，因此不適用於同時渲染多層表面的情況。而 α-NeuS 需要處理透明和不透明表面共存的情況，因此需要使用能夠處理多層表面的渲染方法。 絕對距離場轉換僅在表面提取階段進行: α-NeuS 中的絕對距離場轉換僅在表面提取階段進行，而訓練過程仍然使用 SDF 學習方法。因此，使用基於 UDF 的方法並不能簡化訓練流程。 總之，雖然基於 UDF 的方法在某些場景下具有優勢，但對於 α-NeuS 的特定應用場景，使用 NeuS 作為骨幹網絡是更優的選擇。

核心概念

本文提出了一種名為 α-NeuS 的新方法，可以同時重建薄透明物體和不透明物體，並證明了 NeuS 在不同透明度材質上的無偏差性，為 NeuS 的理論框架提供了更完整的補充。

摘要

客製化摘要

使用 AI 重寫

產生引用格式

翻譯原文

翻譯成其他語言

產生心智圖

從原文內容

前往原文

arxiv.org

摘要
傳統基於多視角圖像的三維形狀重建技術，例如運動恢復結構 (SfM) 和多視角立體視覺 (MVS)，主要集中於不透明表面。同樣，神經輻射場及其變體的最新進展也主要解決不透明物體，難以應對透明材質造成的複雜光照效果。本文介紹了 α-NeuS，這是一種基於神經隱式表面 (NeuS) 同時重建薄透明物體和不透明物體的新方法。我們的方法利用了在神經體積渲染過程中，透明表面會在學習到的距離場中產生局部極值的觀察結果，這與與零水平集對齊的不透明表面形成對比。傳統的等值面算法（例如行進立方體）依賴於固定的等值面，不適用於此數據。我們通過採用距離場的絕對值並開發一種優化方法來解決這個問題，該方法提取對應於非負局部最小值和零等值面的水平集。我們證明了重建的表面對於透明和不透明物體都是無偏差的。為了驗證我們的方法，我們構建了一個包含真實世界和合成場景的基準測試，證明了其實用性和有效性。
主要貢獻

證明了 NeuS [4] 中提出的密度函數在從完全透明到完全不透明的連續材質透明度範圍內是無偏差的，從而完善了 NeuS 的理論框架。
表明透明和不透明表面分別對應於 NeuS 學習到的距離場的非負局部最小值和零點。
提出了一種從混合 SDF 和無符號距離場 (UDF) 中同時提取對應於透明物體和不透明物體目標幾何形狀的無偏差表面的方法。
構建了一個包含 5 個真實世界場景和 5 個合成場景的基準測試，用於驗證我們的方法。

方法
NeuS 中跨透明度的無偏差密度映射
NeuS [4] 利用帶符號距離場進行表面表示，並引入了由這些 SDF 誘導的密度分佈，從而實現了神經體積渲染與 SDF 學習的結合。 NeuS [4] 證明，對於不透明物體，NeuS 中從 SDF 到密度的映射是無偏差的，確保重建的表面是學習到的 SDF 的一階近似。在本節中，我們進一步確定 NeuS 中提出的密度映射在從完全透明到完全不透明的連續材質透明度範圍內確實是無偏差的。此驗證完善了 NeuS 的理論框架。
如果渲染權重在表面上達到局部最大值，則認為表面是無偏差的。這對於最大程度地減少表面與期望結果之間的差異至關重要。 NeuS [4] 假設表面是不透明的，並證明了零等值面是無偏差的。對於透明表面，我們觀察到 NeuS 還可以在透明表面上產生局部最小距離，這啟發我們探索這些局部最小值的特性。我們有以下定理。
定理 1. 假設單個射線平面相交，如果渲染的不透明度 α ≤ 0.5，則學習到的距離場達到非負的局部最小值，並且相應的顏色權重最大值與距離局部最小值對齊。否則，距離局部最小值小於零，並且相應的顏色權重最大值與零等值面對齊。
實驗
數據集
由於缺乏相關數據集，我們準備了一個包含 5 個合成場景和 5 個真實世界場景的數據集。合成數據使用 Blender 渲染。真實數據由我們自己捕獲，並借助 ArUco 校準板校準相機。
基準
我們將我們的方法與原始的 NeuS [4] 和從多視角圖像中學習 UDF 的 NeUDF [21] 進行了比較。
討論
選擇 NeuS
我們使用 NeuS [4] 作為重建的骨幹，它學習混合 SDF 和 UDF。然而，在表面提取的投影階段，我們使用距離場的絕對值。絕對距離場  f a 類似於 UDF。雖然直接使用 UDF 學習方法可以避免距離場轉換過程，但我們選擇 NeuS 而不是 UDF 學習方法，因為 SDF 學習方法 NeuS 簡單、穩定和魯棒，並且還能夠重建細節。我們進一步與 UDF 學習方法 NeUDF [21] 進行了比較。我們注意到，其他 UDF 學習方法（包括 NeuralUDF [22] 和 2S-UDF [24]）都利用了不透明表面假設，分別引入了指示函數或射線截斷策略。這使得 NeUDF [21] 成為唯一一種理論上能夠在單條射線中渲染多層表面的方法。
限制
儘管我們的方法已在合成數據和真實數據上得到有效驗證，但它無法處理所有用例。我們的方法與 αSurf [29] 一起允許同時重建不透明和透明物體。其他工作要么側重於不透明物體的重建，要么側重於在某些假設下具有折射和反射的純玻璃物體。然而，我們的方法並非旨在處理具有複雜光照條件的情況，例如嚴重的折射或反射。
結論
總體而言，α-NeuS 為 NeuS 提供了一個新的視角。我們證明了 NeuS 對於透明物體的無偏差性，並通過提出一個統一的理論和實踐框架，將 NeuS 的能力擴展到透明表面和不透明表面的重建。基於 DCUDF，我們同時提取無偏差的透明表面和不透明表面進行模型重建。我們建立了一個包含 5 個合成場景和 5 個真實世界場景的基準測試，用於驗證。我們的實驗證明了我們提出的方法的有效性及其應用潛力。

統計資料

如果渲染的不透明度 α ≤ 0.5，則學習到的距離場達到非負的局部最小值。
如果渲染的不透明度 α > 0.5，則距離局部最小值小於零。

從以下內容提煉的關鍵洞見

From Transparent to Opaque: Rethinking Neural Implicit Surfaces with $\alpha$-NeuS

by Haoran Zhang... 於 arxiv.org 11-11-2024

https://arxiv.org/pdf/2411.05362.pdf

$From Transparent to Opaque: Rethinking Neural Implicit Surfaces with $\alpha$-NeuS$

深入探究

α-NeuS 如何與其他處理複雜光照條件（例如強反射或折射）的技術相結合，以進一步提高其在更廣泛場景中的適用性？

α-NeuS 的主要限制之一是無法處理複雜的光照條件，例如強反射或折射。這是因為在這些情況下，反射和折射會在學習到的距離場中產生歧義，導致無法提取理想的表面。為了提高 α-NeuS 在更廣泛場景中的適用性，可以考慮將其與其他處理複雜光照條件的技術相結合，例如：

反射移除技術: 可以使用現有的反射移除算法，例如 [42] 中提到的學習型雙視圖反射移除方法，在輸入多視圖圖像到 α-NeuS 之前預先去除反射成分。這可以減少反射對距離場學習的干擾，提高重建精度。

基於物理的渲染技術: 可以將 α-NeuS 與基於物理的渲染技術（PBR）相結合，例如路徑追踪或光線追踪，以更準確地模擬光線在場景中的傳播。這可以提高對反射和折射的處理能力，生成更逼真的渲染結果。

考慮反射和折射的神經渲染方法: 可以考慮使用其他專門處理反射和折射的神經渲染方法來代替 NeuS 作為 α-NeuS 的骨幹網絡。例如，Ref-NeuS [28] 和 ReNeuS [8] 分別考慮了反射和折射對不透明物體重建的影響。將這些方法與 α-NeuS 的核心思想（利用距離場的局部極值來區分透明和不透明表面）相結合，可以開發出更強大的重建方法。

多階段重建策略: 可以採用多階段重建策略，首先使用 α-NeuS 重建場景中的不透明物體和粗略的透明物體形狀，然後使用其他專門處理透明物體的方法來優化透明物體的形狀和材質。

總之，將 α-NeuS 與其他處理複雜光照條件的技術相結合，可以克服其現有局限性，提高其在更廣泛場景中的適用性。

如果直接使用基於 UDF 的神經渲染方法（例如 NeRF++），是否可以簡化 α-NeuS 的流程並提高效率，同時保持重建質量？

直接使用基於 UDF 的神經渲染方法（例如 NeRF++）並不能簡化 α-NeuS 的流程或提高效率，同時也難以保持重建質量。
雖然 α-NeuS 在表面提取階段使用了類似 UDF 的絕對距離場，但選擇 NeuS 作為骨幹網絡的原因在於：

SDF 學習方法更穩定和魯棒:  與 UDF 相比，SDF 學習方法（如 NeuS）通常更穩定和魯棒，更容易收斂到理想的結果。這是因為 SDF 的符號信息可以提供更強的約束，幫助網絡更好地學習場景的幾何形狀。

NeuS 能夠更好地重建細節:  NeuS 在重建細節方面表現出色。而 UDF 學習方法由於缺乏符號信息，在處理薄結構或高頻細節時可能會遇到困難。

NeRF++ 不適用於多層表面渲染:  NeRF++ 等基於 UDF 的方法通常假設單條射線只與場景表面相交一次，因此不適用於同時渲染多層表面的情況。而 α-NeuS 需要處理透明和不透明表面共存的情況，因此需要使用能夠處理多層表面的渲染方法。

絕對距離場轉換僅在表面提取階段進行:  α-NeuS 中的絕對距離場轉換僅在表面提取階段進行，而訓練過程仍然使用 SDF 學習方法。因此，使用基於 UDF 的方法並不能簡化訓練流程。

總之，雖然基於 UDF 的方法在某些場景下具有優勢，但對於 α-NeuS 的特定應用場景，使用 NeuS 作為骨幹網絡是更優的選擇。

α-NeuS 的核心思想，即利用距離場的局部極值來區分透明和不透明表面，是否可以應用於其他基於深度學習的三維重建方法？

α-NeuS 的核心思想，即利用距離場的局部極值來區分透明和不透明表面，具有潛力應用於其他基於深度學習的三維重建方法，特別是那些使用隱式表面表示和可微渲染技術的方法。
以下是一些可能的應用方向：

基於點雲的三維重建:  可以將 α-NeuS 的思想應用於基於點雲的三維重建方法，例如 PointNet++ 或 DGCNN。通過學習點雲到距離場的映射，並利用距離場的局部極值來區分透明和不透明區域，可以提高重建結果的精度和完整性。

基於體素的三維重建:  可以將 α-NeuS 的思想應用於基於體素的三維重建方法，例如 3D-GAN 或 VoxelNet。通過修改網絡結構，使其能夠預測每個體素的距離值，並利用距離場的局部極值來區分透明和不透明體素，可以提高重建結果的細節和真實感。

其他基於可微渲染的三維重建方法:  α-NeuS 的思想可以應用於其他基於可微渲染的三維重建方法，例如 DVR 或 SRN。通過修改渲染過程，使其能夠處理透明和不透明表面的混合渲染，並利用距離場的局部極值來指導表面重建，可以提高重建結果的準確性和效率。

然而，要将 α-NeuS 的思想应用于其他方法，还需要克服一些挑战：

需要设计合适的网络结构和损失函数:  不同的三维重建方法使用不同的网络结构和损失函数。要将 α-NeuS 的思想应用于其他方法，需要设计合适的网络结构和损失函数，以有效地学习距离场并区分透明和不透明表面。

需要处理透明物体的其他光学特性:  除了透明度之外，透明物体还具有其他光学特性，例如折射和反射。要将 α-NeuS 的思想应用于其他方法，需要考虑如何处理这些光学特性，以生成更逼真的重建结果。

总而言之，α-NeuS 的核心思想为基于深度学习的三维重建方法提供了一种新的思路，具有广阔的应用前景。