核心概念
本文介紹了一種用於微創手術的機械臂平台,該平台可以進行多視角圖像採集並使用學習型特徵匹配器和 COLMAP 進行精確的 3D 重建,並通過與高精度激光掃描的定量比較,證明了該平台在逼真的手術環境下的準確性和穩健性。
摘要
文獻類型
研究論文
書目信息
Saikia, A., Di Vece, C., Bonilla, S., He, C., Magbagbeola, M., Mennillo, L., Czempiel, T., Bano, S., & Stoyanov, D. (2024). Robotic Arm Platform for Multi-View Image Acquisition and 3D Reconstruction in Minimally Invasive Surgery. arXiv preprint arXiv:2410.11703v1.
研究目標
本研究旨在開發一種用於微創手術 (MIS) 的機械臂平台,以解決 MIS 環境中能見度有限和獲取 3D 圖像數據的挑戰。
方法
- 研究人員將腹腔鏡安裝到機械臂上,並在不同的光照條件(手術室和腹腔鏡)和軌跡(球形和腹腔鏡)下,採集了多個離體綿羊器官的圖像。
- 他們採用了最新的基於學習的特徵匹配器(ALIKED、GIM 和 LightGlue)與 COLMAP 相結合,生成 3D 重建。
- 將重建結果與高精度激光掃描進行比較,以進行定量評估。
主要發現
- 該平台能夠在不同的光照條件和軌跡下採集多視角圖像。
- 基於學習的特徵匹配器在匹配圖像特徵方面表現出色,即使在腹腔鏡光照等具有挑戰性的條件下也是如此。
- 與激光掃描相比,3D 重建結果顯示出較高的準確性,平均均方根誤差為 1.05 毫米,倒角距離為 0.82 毫米。
主要結論
- 該機械臂平台為在 MIS 環境中生成 3D 圖像提供了一種受控且可重複的多視角數據採集工具。
- 該平台有可能被轉用於增強手術視覺,例如術前數據(如 MRI 或 PET)的配準、手術測量以及先進的可視化和指導,從而改善患者的預後。
重大意義
本研究通過引入一種用於 MIS 的新型機械臂平台,為手術 3D 重建領域做出了貢獻。該平台有可能通過提供增強的可視化和導航功能來改善手術效果。
局限性和未來研究方向
- 該研究是在離體器官上進行的,需要進一步的研究來驗證該平台在體內的性能。
- 未來的研究可以集中於將該平台應用於更複雜的手術場景,例如涉及煙霧、血液、器械遮擋和可變形組織的場景。
- 探索實時處理和進一步提高數據質量的可能性,對於增強該平台在 MIS 中的實用性至關重要。
統計資料
使用 ALIKED-LG 方法,旋轉的相對姿態誤差 (RPE) 為 0.0161 弧度。
使用 GIM-LG 方法,旋轉的相對姿態誤差 (RPE) 為 0.0032 弧度。
使用 ALIKED-LG 方法,平移的相對姿態誤差 (RPE) 為 0.265 毫米。
使用 GIM-LG 方法,平移的相對姿態誤差 (RPE) 為 0.285 毫米。
平均而言,88.78% 的幀被預測出來,標準差為 27.85%。
在所有數據集中,81.25% 的數據成功預測了所有幀的姿態,其中 GIM-LG 的表現略好於 ALIKED-LG,分別為 90.95% 和 86.60%。