PCP-MAE：學習預測點遮罩自編碼器的中心點

核心概念

本文指出，現有的點雲遮罩自編碼器（MAE）方法直接將遮罩部分的中心點資訊洩露給解碼器，導致預訓練任務過於簡單，編碼器無法有效學習語義特徵。為了解決這個問題，本文提出了 PCP-MAE，通過預測遮罩部分的中心點位置來引導編碼器學習更豐富的語義表示。

摘要

PCP-MAE：學習預測點遮罩自編碼器的中心點

研究背景

點雲是一種廣泛使用的三維物體表示方法，能夠豐富地表達其幾何資訊。近年來，自監督學習（SSL）在點雲理解領域取得了顯著進展，其中遮罩自編碼器（MAE）表現出強大的可擴展性和優越的性能。然而，與二維圖像不同，點雲中的位置嵌入包含了豐富的幾何和語義資訊。現有的點雲 MAE 方法直接將遮罩部分的中心點資訊提供給解碼器，導致預訓練任務過於簡單，編碼器無法有效學習語義特徵。

研究方法

為了解決上述問題，本文提出了 PCP-MAE，通過預測遮罩部分的中心點位置來引導編碼器學習更豐富的語義表示。具體而言，PCP-MAE 包含以下幾個關鍵組成部分：

• 預測中心模組（PCM）: PCM 與編碼器共享參數，並利用交叉注意力機制從可見部分和遮罩部分中獲取資訊，以預測遮罩部分的中心點位置。
• 中心點預測損失函數: PCP-MAE 使用 L2 損失函數來最小化預測的中心點位置與真實值之間的差異。
• 遮罩點重建損失函數: PCP-MAE 使用 L2 Chamfer 距離損失函數來計算預測的遮罩點與真實值之間的差異。

實驗結果

在 ScanObjectNN、ModelNet40 和 ShapeNetPart 等數據集上進行的大量實驗表明，PCP-MAE 在目標分類、小樣本學習和分割等任務上均取得了優於 Point-MAE 的性能。

主要貢獻

本文的主要貢獻包括：

1. 發現現有點雲 MAE 方法的預訓練目標存在缺陷: 本文指出，直接將遮罩部分的中心點資訊洩露給解碼器會導致預訓練任務過於簡單。
2. 提出了一種新的點雲自監督學習方法: PCP-MAE 通過預測遮罩部分的中心點位置來引導編碼器學習更豐富的語義表示。
3. 在多個基準數據集上取得了最先進的性能: PCP-MAE 在目標分類、小樣本學習和分割等任務上均取得了優於現有方法的性能。

統計資料

PCP-MAE 在 ScanObjectNN 數據集的 OBJ-BG、OBJ-ONLY 和 PB-T50-RS 三個變體上分別優於 Point-MAE 5.50%、6.03% 和 5.17%。
PCP-MAE 在 ModelNet40 數據集上，無投票和有投票的情況下分別優於 Point-MAE 0.8% 和 0.4%。
PCP-MAE 在 ModelNet40 數據集的 5-way, 10-shot; 5-way, 20-shot; 10-way, 20-shot 小樣本學習實驗中，分別優於 Point-MAE 1.1%、1.3%、0.9% 和 0.9%。
PCP-MAE 在 ShapeNetPart 數據集上，Cls.mIoU 達到 84.9%，優於 Point-MAE 0.7%。
PCP-MAE 在 S3DIS 數據集上，mAcc 和 mIoU 分別優於 Point-MAE 1.1% 和 0.5%。

引述

"We find almost all existing MAE-based methods focus on structural improvement, employing the same reconstruction objective as Point-MAE. However, as shown in Fig. 1, we claim again that this reconstruction objective is not suitable to directly adopt from 2-D to point clouds."
"The gap between 2-D and point cloud data reveals that the coordinates of the centers (i.e. positional embeddings) are essential in the point cloud field, meaning that the decoder can even abandon the output of the encoder and still reconstruct well."

從以下內容提煉的關鍵洞見

PCP-MAE: Learning to Predict Centers for Point Masked Autoencoders

by Xiangdong Zh... 於 arxiv.org 10-25-2024

https://arxiv.org/pdf/2408.08753.pdf

深入探究

PCP-MAE 的核心思想是預測遮罩部分的中心點位置，那麼是否有其他更有效的方法來引導編碼器學習更豐富的語義表示？

是的，除了預測遮罩部分的中心點位置，還有其他方法可以引導編碼器學習更豐富的語義表示。以下列舉幾種可能的方向：

預測更複雜的幾何特徵: 與其僅僅預測中心點位置，可以嘗試預測更複雜的幾何特徵，例如：

法向量: 預測每個遮罩點的法向量，可以迫使編碼器學習更精確的局部表面結構信息。
曲率: 預測每個遮罩點的曲率，可以幫助編碼器理解點雲的整體形狀和拓撲結構。
局部特徵描述符: 預測每個遮罩點的局部特徵描述符（例如 FPFH、SHOT 等），可以讓編碼器學習更具有區分性的點雲表示。

設計更具挑戰性的預訓練任務:

點雲拼圖: 可以將點雲分割成多個部分，並打亂順序，讓模型學習如何將其重新組合成完整的點雲。
點雲對齊: 可以使用兩個不同视角或分辨率的點雲，讓模型學習如何將它們對齊。
點雲生成: 可以訓練模型生成新的點雲，例如根據部分點雲生成完整的點雲，或根據文字描述生成點雲。

結合其他自監督學習方法: 可以將 PCP-MAE 與其他自監督學習方法（例如對比學習）相結合，以獲得更豐富的語義表示。例如，可以同時使用遮罩重建和對比學習損失來訓練模型。
總之，PCP-MAE 提供了一個有效的框架，可以通過預測遮罩信息來引導編碼器學習更豐富的語義表示。未來可以探索更多更有效的方法，進一步提升點雲自監督學習的性能。

本文主要關注點雲的自監督學習，那麼 PCP-MAE 是否可以應用於其他三維數據表示方法，例如網格和體素？

PCP-MAE 的核心思想是利用遮罩預測來引導編碼器學習更豐富的語義表示，這種思想可以應用於其他三維數據表示方法，例如網格和體素。

網格: 可以將網格上的頂點或面片進行遮罩，然後訓練模型預測遮罩部分的幾何信息，例如頂點位置、法向量、曲率等。與點雲類似，網格上的遮罩預測任務也可以引導編碼器學習網格的局部結構和整體形狀信息。
體素: 可以將三維空間劃分成規則的體素網格，並對體素進行遮罩。模型可以學習預測遮罩體素的值，例如佔用率、顏色、语义标签等。這種方法可以幫助模型學習三維空間中的物體形狀、位置和类别信息。
然而，將 PCP-MAE 應用於網格和體素數據時，需要考慮以下問題：

數據結構的差異: 網格和體素數據具有不同的數據結構，需要設計相應的遮罩策略和預測目標。例如，網格數據需要考慮頂點和面片之間的連接關係，而體素數據需要考慮空間分辨率和鄰域信息。
計算效率: 網格和體素數據通常比點雲數據更大，需要設計更高效的模型和算法來處理這些數據。
總之，PCP-MAE 的核心思想可以應用於其他三維數據表示方法，但需要針對不同的數據結構和計算效率进行相应的调整和优化。

如果將 PCP-MAE 的預訓練目標與其他自監督學習方法（例如對比學習）相結合，是否可以進一步提升模型的性能？

將 PCP-MAE 的預訓練目標與其他自監督學習方法（例如對比學習）相結合，很有可能進一步提升模型的性能。

PCP-MAE 的優勢: PCP-MAE 通过预测遮罩部分的中心点位置，可以有效地引導編碼器學習點雲的局部結構和整體形狀信息。
對比學習的優勢: 對比學習通過區分正樣本和負樣本，可以學習更具有區分性的特徵表示。
將兩種方法結合，可以充分利用它們的優勢，學習更全面、更具有區分性的點雲表示。例如，可以設計以下結合方式：

聯合訓練: 可以同時使用遮罩重建和對比學習損失來訓練模型，讓模型同時學習局部結構信息和全局语义信息。
分階段訓練: 可以先使用 PCP-MAE 進行預訓練，然後使用對比學習方法進行微調，以進一步提升模型的性能。
一些研究已经探索了将遮罩預測和對比學習结合起来进行自监督学习，并取得了 promising 的结果。例如，Point-Contrastive Prediction (PCP) [1] 和 Contrastive Masked Autoencoder (CMAE) [2] 等方法都证明了结合两种方法的有效性。
总而言之，将 PCP-MAE 的預訓練目標與其他自監督學習方法相結合，是一个值得探索的方向，可以进一步提升点云自监督学习的性能。
参考文献:
[1] Xie, S., et al. "Point contrast for unsupervised representation learning on 3d point clouds." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
[2] Huang, J., et al. "Cmae: Contrastive masked autoencoders are stronger vision learners." Advances in Neural Information Processing Systems 36 (2023).