基於學習的註冊相關特徵之光達慣性里程計與建圖

核心概念

本文提出了一種名為 DFLIOM 的新型 LiDAR 慣性里程計與建圖系統，該系統利用學習的註冊相關特徵來選擇點雲，從而實現更精確的定位和更低的記憶體使用量。

要約

簡介
本文介紹了一種名為深度特徵輔助光達慣性里程計與建圖 (DFLIOM) 的新型即時同步定位與建圖 (SLAM) 演算法，該演算法基於精確的恆定加加速度運動校正和對環境敏感的組件。與現有工作不同，DFLIOM 採用基於學習的方法來選擇與 LiDAR SLAM 點雲配準相關的點，從而實現更高的定位精度和顯著降低的記憶體使用量。
方法
顯著特徵
與先前工作假設有用點是邊緣和平面的做法不同，本文提出的網路直接學習選擇這些點。它由一個共享的 KPConv 骨幹網路和幾個共享的多層感知器 (MLP) 組成，其靈感來自 PointNet 的成功。
獨特特徵
本文將獨特特徵定義為有助於將掃描與機器人當前位置附近的另一個（或多個）掃描進行匹配的點。在 LiDAR 里程計演算法中，ICP 和廣義 ICP (GICP) 是兩種常用的配準演算法。現有的基於學習的點雲配準演算法本質上是通過在訓練迴圈中採用加權奇異值分解 (SVD)（可微分）來學習預測對 ICP 有用的點的更高分數，以解決 ICP 目標。然而，與 ICP 不同，GICP 沒有封閉形式的解，因此不能包含在訓練迴圈中。因此，本文提出了一種基於查詢的策略來獲得點對 GICP 的貢獻。
推理流程
接收到點雲 Pi 後，首先使用最近的 IMU 測量值 αk、ωk 對點雲進行運動去斜，並對去斜後的點雲進行體素下採樣，得到處理後的點雲 ˜Pi。當機器人在小規模環境中（例如狹窄的走廊）時，與機器人在開放環境中相比，體素化的點雲包含的點更少。在此類環境中進一步對點雲進行下採樣可能會導致重要細節丟失，從而對定位精度產生負面影響。令 Di 表示機器人與點之間的平均歐幾里得距離，如果 Di > d（其中 d 是一個預定義的超參數），則對點雲 ˜Pi 執行特徵提取。在密集模式和基於特徵的模式之間切換，使本文提出的方法能夠在現有基於特徵的方法容易失效的環境中最大限度地減少記憶體使用，同時保持穩健的性能。
實驗
實驗設置
本文的特徵提取器使用 PyTorch 實現，其餘部分使用 C++ 實現。實驗在一台配備 Intel i9-13900K CPU、Nvidia RTX 4090 GPU 和 64 GB RAM 的 PC 上進行。由於 Newer College 資料集中缺少地面真實語義標籤，因此首先使用 Newer College Dataset Short 的一個子集（顯著性損失邊距 Msal = 0.5，掃描偏差 b = 150）訓練骨幹網路和顯著性頭部，凍結訓練好的層，使用來自 Semantic KITTI 序列 00 的 3000 個掃描對（體素大小 v = 1.5，掃描偏差 b = 10）準備 GICP 有用性分數，並訓練唯一性頭部 200 個 epoch。對於覆蓋率特徵，設置 α = 0.9，m = 0.01|Pi|。在預處理過程中，將體素濾波器網格大小設置為 0.25 米。在子地圖構建中，設置 K 和 L，以便最多選擇 20 個關鍵幀，以確保使用與 DLIOM 相同數量的關鍵幀。在實驗中，發現選擇最佳的 10% 顯著特徵和 10% 獨特特徵足以在測試序列上實現準確的定位。所有表格均報告 3 次運行的平均值。根據實驗，RAM 使用量在不同的硬體和系統設置中可能會有很大差異。
Newer College 資料集
首先在 Newer College 資料集（10 Hz OS1-64 LiDAR 和 100 Hz 內部 IMU）及其擴展資料集（10 Hz OS0-128 LiDAR 和 200 Hz Alphasense Core IMU）上測試 DFLIOM。下採樣閾值設置為 d = 3.0，但在 Mound 序列中，由於其在狹窄環境中的運動更劇烈，因此設置為 d = 5.0。
與 LIO-SAM 的比較
由於基於特徵的基準方法 LIO-SAM 不支援 6 軸 IMU，因此在 [6] 中的校園迴圈（10 Hz Velodyne VLP16 LiDAR 和 1000 Hz MicroStrain 3DM-GX5-25 IMU）上將 DFLIOM 與 LIO-SAM 進行了比較。由於缺少地面真實值，因此比較了端到端平移誤差，如 [6] 中所示。為了更好地反映沿軌跡的漂移，在所有測試方法中都禁用了迴圈閉合。為了公平比較，在 LIO-SAM 中也禁用了 GPS，並將其 CPU 核心數從 4 個增加到 32 個，以加快運行速度。DFLIOM 即使沒有受益於額外的三個 IMU 軸，也實現了比 LIO-SAM 更低的端到端平移誤差和更快的運行速度。
東北校園資料集
為了證明 DFLIOM 對其他環境的泛化能力，在校園周圍收集的資料集上運行該方法。該資料集包含兩個序列，ISEC（548.32 米）和主校園（727.50 米），使用 10 Hz OS1-128 LiDAR 及其內部 100 Hz IMU 錄製。該資料集是在一個典型的上學日收集的，以最大限度地增加點雲中的瞬態物體。由於地面真實姿態不可用，因此顯示重建的地圖（詳見圖 6）作為代理。東北標誌、停放的車輛和窗戶上的 LED 燈清晰可見，展示了儘管存在大量行人和車輛，但該方法仍能達到的精度水平。儘管軌跡經過了幾座帶有玻璃表面的建築物，但定位精度似乎沒有受到反射（圖 6 中的白色）的影響。
消融研究
為了進一步證明基於學習的特徵提取器的有效性，用各種手工製作的特徵提取器替換了特徵提取模組，並比較了性能。為了公平比較，嘗試從所有測試的特徵提取器中選擇相同數量的點。
結論
本文提出了一種基於學習的特徵提取器的 LiDAR 慣性里程計與建圖系統 DFLIOM，用於提取顯著特徵和獨特特徵。與最先進的 LiDAR 慣性里程計系統 DLIO 和 DLIOM 相比，該方法提高了定位精度，並顯著減少了記憶體使用量，同時能夠實時運行 20 Hz LiDAR。在使用不同 LiDAR 收集的多個公共基準資料集和在校園收集的自有資料集上，都證明了 DFLIOM 的性能。此外，還提供了消融研究，以展示所提出的特徵提取器的有效性。未來的工作將探索在訓練過程中整合配準的其他方法。

統計

與最先進的方法 (DLIOM) 相比，定位誤差降低了 2.4%。
與最先進的方法 (DLIOM) 相比，記憶體使用量減少了 57.5%。
在測試硬體上，使用 20 Hz LiDAR 時，平均每幀處理時間為 40.0 毫秒。
特徵提取網路有 57,000 個參數，並且對所有點簇使用共享層。

抽出されたキーインサイト

LiDAR Inertial Odometry And Mapping Using Learned Registration-Relevant Features

by Zihao Dong, ... 場所 arxiv.org 10-07-2024

https://arxiv.org/pdf/2410.02961.pdf

深掘り質問

在更複雜和動態的環境中，例如具有大量移動障礙物的城市環境中，DFLIOM 的性能如何？

DFLIOM 在處理複雜和動態的城市環境時，其性能會受到一定影響，但論文中提出的方法提供了一些應對策略：
優勢：

基於學習的特徵提取： DFLIOM 使用的深度學習網路能夠學習辨識對點雲配準真正重要的特徵，這使其在一定程度上可以忽略動態障礙物，例如行人、车辆等。論文中展示的實驗結果也表明，DFLIOM 的特徵提取器能夠有效地忽略掉場景中的動態物體，例如 Newer College 數據集中的人群和車輛。
融合獨特特徵： 除了显著特征外，DFLIOM 还提取了对局部尺度扫描匹配有用的独特特征。 這些特徵可以幫助算法在局部范围内更好地进行定位，即使在动态环境中也能保持一定的鲁棒性。
密集點雲模式： 在狭窄环境中，例如走廊，DFLIOM 可以切换到使用密集点云的模式，以确保定位的准确性。 这在一定程度上弥补了特征提取在狭窄环境中可能失效的问题。
潜在问题和挑战：

動態障礙物的遮擋： 在密集的城市環境中，大量的動態障礙物可能會遮擋住靜態環境特徵，這會影響 DFLIOM 的特徵提取和配準精度。
特徵提取器的泛化能力： 雖然 DFLIOM 的特徵提取器在實驗中表現良好，但在面對更加複雜多變的城市環境時，其泛化能力仍需要進一步驗證。 特征提取器可能需要在包含更多樣化场景的数据集上进行训练，才能更好地应对复杂环境。
實時性要求： 城市環境中需要處理的資訊量更大，這可能會影響 DFLIOM 的實時性能。 算法需要进行优化，以确保其在复杂环境中也能保持实时运行。
總體而言，DFLIOM 在處理複雜和動態的城市環境時具有一定的優勢，但也面臨著一些挑戰。 未來可以通過以下方式提升其性能：

在包含大量動態障礙物的數據集上進行訓練和測試。
探索更鲁棒的特征提取方法，例如结合语义信息或多帧信息进行特征提取。
研究更高效的点云处理和配準算法，以提升 DFLIOM 在复杂环境中的实时性能。

如果將 DFLIOM 與其他感測器（如相機或雷達）融合，是否可以進一步提高其性能和可靠性？

將 DFLIOM 與其他感測器（如相機或雷達）融合，可以有效提高其性能和可靠性。
優勢：

彌補 LiDAR 的不足： LiDAR 在面對透明物體（如玻璃）、光線不足或惡劣天氣條件下表現不佳。 相機可以提供紋理和顏色信息，有助於在這些情况下进行更可靠的定位和建图。 雷達則可以提供 LiDAR 难以获取的速度信息，并对恶劣天气条件更加鲁棒。
提供更豐富的環境資訊： 融合多種感測器資訊可以獲取更豐富的環境資訊，例如語義資訊、物體運動資訊等，從而提升 SLAM 系統的感知能力。
提高系統的鲁棒性和容錯性： 多感測器融合可以提供冗餘的資訊，當其中一種感測器出現故障或數據丟失時，系統仍然可以依靠其他感測器維持運作，從而提高系統的鲁棒性和容錯性。
具體融合方式：

鬆耦合融合： 可以將不同感測器的數據分別處理，然後將其結果融合，例如將 LiDAR 的定位結果與相機的定位結果进行融合。
緊耦合融合： 可以在特徵級別或原始數據級別上進行數據融合，例如將 LiDAR 特征和视觉特征进行融合，或直接使用所有传感器的数据进行联合优化。
挑戰：

感測器同步： 不同感測器的採樣頻率和時間戳可能不同，需要进行精确的时间同步才能保证数据融合的准确性。
數據配準： 不同感測器的數據需要进行精确的空间配準，才能保证数据融合的有效性。
計算複雜度： 多感測器融合會增加系統的計算複雜度，需要设计更高效的算法和系统架构。
總體而言，將 DFLIOM 與其他感測器融合具有很大的潜力，可以显著提高其性能和可靠性。 未來可以探索更加高效和鲁棒的多传感器融合算法，以及设计更加灵活和可扩展的系统架构。

DFLIOM 中使用的基於學習的特徵提取器是否可以應用於其他機器人任務，例如物體識別或場景理解？

DFLIOM 中使用的基於學習的特徵提取器，經過適當的調整和訓練，可以應用於其他機器人任務，例如物體識別或場景理解。
理由：

提取有意義的幾何特徵： DFLIOM 的特徵提取器基於 KPConv 網絡，能夠有效地提取點雲的局部幾何特徵。 這些特徵對於理解場景結構和物體形狀非常重要，因此可以用於物體識別和場景理解等任務。
可遷移性： 深度學習模型具有良好的遷移學習能力，可以將在一個任務上訓練好的模型遷移到其他相關任務上，只需要進行少量的微調。 因此，可以將 DFLIOM 的特徵提取器遷移到其他需要點雲特徵的任务上。
具體應用：

物體識別： 可以將 DFLIOM 的特徵提取器應用於三維物體識別任務，例如識別場景中的车辆、行人、家具等。 可以将提取到的特征输入到分类器中，例如支持向量机或随机森林，进行物体分类。
場景理解： 可以將 DFLIOM 的特徵提取器應用於三維場景理解任務，例如分割場景中的不同區域（例如地面、建築物、植被等）或識別場景的類型（例如街道、公園、室內等）。 可以将提取到的特征输入到分割网络或场景分类网络中，例如 PointNet++ 或 SegNet，进行场景理解。
需要進行的調整：

訓練數據： 需要使用與目標任務相關的數據集對特徵提取器進行訓練。 例如，如果要进行物体识别，就需要使用包含物体标注信息的点云数据集进行训练。
網絡結構： 可能需要根據目標任務調整特徵提取器的網絡結構。 例如，如果要进行场景分割，就需要在网络中添加分割模块，例如卷积层或反卷积层。
損失函數： 需要根據目標任務設計合适的损失函数。 例如，如果要进行物体识别，可以使用交叉熵损失函数；如果要进行场景分割，可以使用 dice 损失函数。
總體而言，DFLIOM 中使用的基於學習的特徵提取器具有應用於其他機器人任務的潜力。 通过进行适当的调整和训练，可以将其应用于物体识别、场景理解等任务，并取得良好的效果。