ImOV3D：僅使用 2D 影像學習開放詞彙點雲 3D 物體偵測

核心概念

ImOV3D 提出了一種新穎的框架，透過利用大量 2D 影像資料集生成偽 3D 點雲和標註，解決了開放詞彙 3D 物體偵測中標註 3D 資料稀缺的挑戰，並透過彈性的模態轉換，將 2D 標註資訊整合到 3D 空間，進而縮小訓練和測試資料之間的領域差距，實現僅使用 2D 影像進行開放詞彙點雲 3D 物體偵測的目標。

摘要

ImOV3D: 僅使用 2D 影像學習開放詞彙點雲 3D 物體偵測

研究目標

本研究旨在解決開放詞彙 3D 物體偵測中標註 3D 資料稀缺的挑戰，提出了一種僅使用 2D 影像學習開放詞彙點雲 3D 物體偵測的新方法 ImOV3D。

方法

ImOV3D 框架的核心是彈性的模態轉換，它利用大量的 2D 影像資料集生成偽 3D 點雲和標註，並透過以下步驟實現：

1. 點雲提升模組: 利用單目深度估計模型和固定的相機內參，將 2D 影像轉換為偽 3D 點雲，並透過旋轉校正模組確保點雲的水平地面。
2. 偽 3D 標註生成器: 利用 2D 資料集中的分割資訊，將 2D 邊界框提升到 3D 空間，生成偽 3D 邊界框，並透過 3D 邊界框過濾模組去除不準確的邊界框。
3. 點雲渲染器: 將點雲轉換為渲染圖像，並使用 ControlNet 將渲染圖像轉換為偽圖像，以彌補點雲缺乏細節紋理的缺陷。
4. 偽多模態 3D 物體偵測器: 使用兩階段訓練策略，首先使用偽 3D 點雲和標註進行預訓練，然後使用真實點雲和偽標註進行適應性訓練，以最小化 2D 和 3D 資料集之間的領域差距。

主要發現

• ImOV3D 在 SUNRGBD 和 ScanNet 兩個基準資料集上，即使在沒有真實 3D 訓練資料的情況下，也顯著優於現有方法。
• 在僅使用偽 3D 資料進行預訓練的情況下，ImOV3D 在 SUNRGBD 和 ScanNet 上的 mAP@0.25 分別比最佳基準提高了 7.14% 和 6.78%。
• 在使用少量真實 3D 資料進行微調後，ImOV3D 的效能進一步提升，在 SUNRGBD 和 ScanNet 上的 mAP@0.25 分別比最佳基準提高了 2.07% 和 2.13%。

主要結論

ImOV3D 是一種有效的開放詞彙 3D 物體偵測方法，它可以僅使用 2D 影像進行訓練，並在處理真實 3D 掃描時表現出令人印象深刻的偵測結果。

局限性

儘管 ImOV3D 展示了 2D 影像在 OV-3Det 任務中的潛力，尤其是在提出的偽多模態表示方面，但它需要密集的點雲來確保渲染圖像可以幫助提高效能。

未來研究方向

未來將探索更通用的策略，以放寬對密集點雲的限制，並進一步提高 ImOV3D 的效能和泛化能力。

統計資料

在 SUNRGBD 資料集上，使用偽圖像後，mAP@0.25 從 4.38% 增加到 12.61%。
在 ScanNet 資料集上，使用偽圖像後，mAP@0.25 從 4.47% 上升到 12.64%。
在 SUNRGBD 資料集上，僅使用 10% 的適應性資料，ImOV3D 的 mAP@0.25 從 22.53% 下降到 19.24%。
在 ScanNet 資料集上，僅使用 10% 的適應性資料，ImOV3D 的 mAP@0.25 從 21.45% 下降到 18.45%。
在 SUNRGBD 資料集上，ImOV3D 的跨域遷移能力比 OV-3DET 高出 7.1%。
在 ScanNet 資料集上，ImOV3D 的跨域遷移能力比 OV-3DET 高出 7.82%。
在 SUNRGBD 資料集上，使用微調後的 Detic，mAP@0.25 從 19.67% 增加到 22.53%。
在 ScanNet 資料集上，使用微調後的 Detic，mAP@0.25 從 19.25% 上升到 21.45%。

引述

從以下內容提煉的關鍵洞見

ImOV3D: Learning Open-Vocabulary Point Clouds 3D Object Detection from Only 2D Images

by Timing Yang,... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2410.24001.pdf

深入探究

如何將 ImOV3D 應用於其他需要 3D 資訊的領域，例如機器人、自動駕駛等？

ImOV3D 可以透過以下方式應用於機器人和自動駕駛等需要 3D 資訊的領域：
機器人:

物體抓取和操作: ImOV3D 可以幫助機器人識別和定位場景中的未知物體，即使這些物體沒有在訓練數據集中出現過。這對於機器人在非結構化環境中執行任務至關重要，例如家庭服務機器人需要與各種家居用品互動。
場景理解和導航: ImOV3D 可以為機器人提供豐富的 3D 場景資訊，幫助其理解環境布局、識別障礙物，並規劃安全的導航路徑。
人機互動: ImOV3D 可以幫助機器人識別和理解人類的動作和姿態，從而實現更自然、更安全的互動。
自動駕駛:

物體偵測和追踪: ImOV3D 可以幫助自動駕駛系統識別和追踪道路上的各種物體，例如車輛、行人、交通標誌等，即使在光線不足或天氣惡劣的情況下也能保持良好的性能。
道路環境感知: ImOV3D 可以為自動駕駛系統提供精確的 3D 道路資訊，例如車道線、路緣石、交通信號燈等，幫助其做出安全的駕駛決策。
路徑規劃和決策: ImOV3D 可以幫助自動駕駛系統規劃安全的行駛路徑，並在遇到突發情況時做出及時、正確的決策。
總之，ImOV3D 的開源詞彙特性和對 3D 資訊的準確感知能力使其在機器人、自動駕駛等領域具有廣泛的應用前景。

如果訓練資料中存在大量的噪聲或錯誤標註，ImOV3D 的效能會受到怎樣的影響？如何提高模型的魯棒性？

如果訓練資料中存在大量的噪聲或錯誤標註，ImOV3D 的效能會受到以下影響：

模型泛化能力下降: 噪聲和錯誤標註會誤導模型學習，導致其難以泛化到未見過的數據，降低模型對新物體和場景的識別能力。
偵測精度降低: 噪聲會影響模型對物體邊界和位置的準確判斷，錯誤標註則會直接導致模型對物體類別的誤判，最終降低偵測精度。
訓練過程不穩定: 大量的噪聲和錯誤標註會導致模型訓練過程震盪，難以收斂到最優解。
為了提高 ImOV3D 在噪聲和錯誤標註下的魯棒性，可以採取以下措施：

數據預處理:

使用統計學方法或深度學習模型過濾點雲數據中的噪聲，例如使用統計濾波器去除離群點，或使用 PointNet++ 等模型進行點雲分割和去噪。
利用數據增強技術，例如旋轉、平移、縮放等，增加數據的多樣性和模型的泛化能力。

損失函數設計:

使用鲁棒性更强的损失函数，例如 Smooth L1 Loss 或 Huber Loss，降低噪声和错误标注对模型训练的影响。
引入正则化项，例如权重衰减或dropout，防止模型过拟合噪声数据。

模型结构优化:

使用注意力机制，例如 Transformer，帮助模型关注重要的特征，忽略噪声的影响。
使用多任务学习，例如联合目标检测和语义分割，提高模型对噪声和错误标注的鲁棒性。

半监督学习和弱监督学习:

利用少量干净数据和大量噪声数据进行半监督学习，例如使用自监督学习方法预训练模型，再使用少量干净数据进行微调。
使用弱标签数据进行训练，例如使用图像级标签代替物体级标签，降低标注成本的同时提高模型的鲁棒性。

如何將 ImOV3D 與其他深度學習技術（例如生成對抗網路）相結合，以進一步提高偽 3D 資料的品質和模型的效能？

將 ImOV3D 與生成對抗網路 (GAN) 等深度學習技術相結合，可以從以下方面提高偽 3D 數據的品質和模型的效能：

使用 GAN 生成更高質量的偽 3D 點雲數據:

可以訓練一個 GAN 模型，學習真實 3D 點雲數據的分佈，並將 2D 圖像轉換為更逼真、更精確的偽 3D 點雲數據。
例如，可以使用 Pix2Vox 或 PointOut 等基於 GAN 的模型，將 2D 圖像轉換為帶有語義標籤的 3D 模型，然後將其轉換為點雲數據。

使用 GAN 生成更逼真的渲染圖像:

可以訓練一個 GAN 模型，學習真實場景渲染圖像的分佈，並將 ImOV3D 生成的偽 3D 點雲數據渲染為更逼真的圖像。
例如，可以使用 CycleGAN 或 Pix2Pix 等圖像翻譯模型，將 ImOV3D 生成的渲染圖像風格轉換為更接近真實場景的風格。

使用 GAN 進行域適應:

可以訓練一個 GAN 模型，將 ImOV3D 生成的偽 3D 數據映射到真實 3D 數據的分佈，減少域差異，提高模型在真實場景中的性能。
例如，可以使用 CycleGAN 或 StarGAN 等模型，學習偽 3D 數據和真實 3D 數據之間的映射關係，並將偽 3D 數據轉換到真實 3D 數據域。
除了 GAN 之外，還可以結合其他深度學習技術，例如：

變分自编码器 (VAE):

可以使用 VAE 學習 3D 點雲數據的潜在空間表示，並生成更真實、更 متنوع 的偽 3D 數據。

自監督學習:

可以使用自監督學習方法，例如对比学习或预测学习，从大量无标签的 2D 图像和 3D 数据中学习更强大的特征表示，提高模型的泛化能力。
總之，將 ImOV3D 與 GAN 等深度學習技術相結合，可以有效提高偽 3D 數據的品質和模型的效能，進一步推動開源詞彙 3D 物體偵測技術的發展。