SP-VIO：基於狀態變換模型和僅姿態視覺描述的穩健高效濾波視覺慣性里程計

Centrala begrepp

SP-VIO 是一種新型視覺慣性里程計 (VIO) 演算法，透過重建狀態和測量模型，並採用僅姿態 (PO) 理論和雙狀態變換 Rauch-Tung-Striebel (DST-RTS) 回溯方法，在保持高效能的同時，提高了定位精度和在視覺中斷條件下的穩健性。

Sammanfattning

SP-VIO：基於狀態變換模型和僅姿態視覺描述的穩健高效濾波視覺慣性里程計

研究背景

視覺慣性里程計 (VIO) 技術廣泛應用於各種移動機器人的自主導航。現有的 VIO 演算法主要分為基於優化和基於濾波兩大類。基於濾波的 VIO 具有計算效率高、内存需求小等優點，但在定位精度方面遜於基於優化的 VIO。

研究目的

本研究旨在開發一種兼具高精度和高效能的 VIO 演算法，並提高其在視覺中斷條件下的穩健性。

方法

本研究提出了一種名為 SP-VIO 的新型 VIO 演算法，該演算法以 MSCKF 為基礎系統，並整合了以下功能：

1. 僅姿態測量模型：該模型與 3D 特徵解耦，避免了不精確的 3D 重建過程對精度的影響，同時保持了效率。
2. 基於雙狀態變換卡爾曼濾波器 (DST-EKF) 的系統模型：通過更嚴格地定義速度誤差狀態和位置誤差狀態，使 VIO 系統獲得了穩健性和一致性的提升。
3. DST-RTS 回溯平滑策略：該策略不依賴於迴環閉合，利用視覺觀測恢復後 VIO 系統提供的速度信息，通過 RTS 回溯修正運動軌跡，可以減少視覺中斷造成的累積誤差。

實驗結果

在公開數據集 (EuRoC、Tum-VI、KITTI) 和自建數據集上的實驗表明，SP-VIO 比現有的 VIO 演算法具有更好的精度和效率，並且在視覺中斷條件下具有更好的穩健性。

結論

SP-VIO 演算法通過採用僅姿態測量模型、DST-EKF 系統模型和 DST-RTS 回溯平滑策略，成功地提高了基於濾波的 VIO 的定位精度和在視覺中斷條件下的穩健性，同時保持了較高的計算效率。

Statistik

SP-VIO 在 Kitti Odometry 數據集上的定位精度比 MSCKF 提高了 33.75%。
SP-VIO 在 EuRoC 和 Tum-VI 數據集上的平均運行時間優於 OpenVINS 和 VINS-Mono。

Citat

"Benchmark experiments [11], [12] show that filter-based VIO has the advantages of high computational efficiency and small memory requirements, and has a good application prospect in payload-constrained embedded systems."
"The newly proposed PO theory indicates that reprojection error can be obtained solely through camera pose, which is equivalent to traditional multi-view geometry description [15], [16]."
"Experiments on public (EuRoC, Tum-VI, KITTI) and personal datasets show that SP-VIO has better accuracy and efficiency than state-of-the-art (SOTA) VIO algorithms, and has better robustness under visual deprived conditions."

Viktiga insikter från

SP-VIO: Robust and Efficient Filter-Based Visual Inertial Odometry with State Transformation Model and Pose-Only Visual Description

by Xueyu Du, Ch... på arxiv.org 11-13-2024

https://arxiv.org/pdf/2411.07551.pdf

Djupare frågor

SP-VIO 如何與其他基於學習的 VIO 方法相結合，以進一步提高性能？

SP-VIO 可以從以下幾個方面與基於學習的 VIO 方法相結合，以進一步提高性能：

學習更精確的 IMU 預測模型: SP-VIO 的系統模型基於 DST-EKF，而 DST-EKF 的精度很大程度上依賴於 IMU 預測模型的準確性。可以利用深度學習方法，例如遞迴神經網路 (RNN) 或長短期記憶網路 (LSTM)，學習更精確的 IMU 預測模型，從而提高 SP-VIO 在IMU數據處理上的精度。
學習更魯棒的視覺特徵描述子: SP-VIO 使用傳統的視覺特徵點進行姿態估計，容易受到光照變化和動態障礙物的影響。可以利用深度學習方法，例如卷積神經網路 (CNN)，學習更魯棒的視覺特徵描述子，例如 SuperPoint 或 D2-Net，從而提高 SP-VIO 在複雜環境下的魯棒性。
學習迴圈關閉檢測和姿態圖優化: SP-VIO 主要關注視覺慣性里程計的精度和效率，沒有考慮迴圈關閉檢測和姿態圖優化。可以利用深度學習方法，例如圖神經網路 (GNN)，學習迴圈關閉檢測和姿態圖優化，從而進一步提高 SP-VIO 的長期定位精度。

總之，SP-VIO 可以與基於學習的 VIO 方法在多個方面進行結合，例如 IMU 預測模型、視覺特徵描述子和迴圈關閉檢測等，從而進一步提高其性能。

在極端環境下，例如光照變化劇烈或存在大量動態障礙物的場景中，SP-VIO 的性能如何？

在極端環境下，SP-VIO 的性能會受到一定影響，主要原因如下：

光照變化劇烈: SP-VIO 的視覺前端依賴於特徵點的提取和匹配，而光照變化會嚴重影響特徵點的穩定性，導致特徵匹配失敗，進而影響 SP-VIO 的定位精度。
存在大量動態障礙物: SP-VIO 假設環境是靜態的，而動態障礙物會導致錯誤的視覺觀測，進而影響 SP-VIO 的定位精度。
為了解決這些問題，可以考慮以下方法：

針對光照變化的解決方案:

使用對光照變化魯棒的視覺特徵描述子，例如 FREAK 或 BRISK。
使用基於光流的方法進行特徵點追蹤，例如 KLT 光流法。
使用深度學習方法學習對光照變化魯棒的視覺特徵，例如 SuperPoint 或 D2-Net。

針對動態障礙物的解決方案:

使用基於語義分割的方法識別和剔除動態障礙物，例如 SegNet 或 DeepLab。
使用基於運動一致性的方法剔除動態特徵點，例如 RANSAC 或 M-estimator。
總之，SP-VIO 在極端環境下會面臨挑戰，但可以通過採用更魯棒的視覺特徵和更先進的動態目標處理方法來提高其性能。

SP-VIO 的設計理念是否可以應用於其他類型的機器人導航系統，例如基於激光雷達或語義信息的導航系統？

SP-VIO 的設計理念可以應用於其他類型的機器人導航系統，例如基於激光雷達或語義信息的導航系統。

基於激光雷達的導航系統: SP-VIO 的 DST-EKF 和 RTS 平滑策略可以用於融合激光雷達和 IMU 數據。激光雷達可以提供更精確的距離和深度信息，彌補相機在弱光環境下的不足。可以將激光雷達點雲轉換為深度圖像，然後使用類似於 SP-VIO 的方法進行特徵提取和匹配，並與 IMU 數據進行融合。
基於語義信息的導航系統: SP-VIO 的 PO 理論可以與語義信息相結合，構建更魯棒的觀測模型。語義信息可以提供環境的結構和物體信息，例如道路、建築物和行人等。可以利用語義分割技術提取語義信息，並將其與 SP-VIO 的 PO 模型相結合，構建基於語義信息的觀測約束，從而提高導航系統在複雜環境下的魯棒性和準確性。
總之，SP-VIO 的設計理念，例如狀態轉換模型、僅姿態觀測模型和 RTS 平滑策略，可以應用於其他類型的機器人導航系統，例如基於激光雷達或語義信息的導航系統，以提高其性能和魯棒性。