단안 현미경에서 CT 스캔으로의 등록: 증강현실 인공와우 수술을 위한 침골 자세 추정

Core Concepts

단안 현미경 영상과 CT 스캔을 직접 등록하는 방법을 제안하여 증강현실 기반 인공와우 수술을 지원할 수 있다.

Abstract

이 연구는 단안 현미경 영상과 CT 스캔을 직접 등록하는 방법을 제안한다. 이를 위해 수술 중 일관적으로 관찰되는 침골 부분의 표면 매핑을 수행하고, 원근 n점 알고리즘을 사용하여 현미경 카메라 대비 이 구조물의 자세를 추정한다. 이를 통해 수술 전 계획된 해부학적 정보와 전극 삽입 경로를 수술 중 증강현실 디스플레이에 정합할 수 있다.
연구 데이터셋에는 12개의 수술 영상과 해당 CT 스캔이 포함되어 있다. 침골 부분의 표면 매핑을 위해 CT 스캔 기반 등록 방법을 사용하여 환자별 침골 메쉬를 생성하고, 이를 이용해 표준화된 2D 좌표계를 정의하였다. 이후 YOLOv8 기반 신경망을 사용하여 수술 영상에서 침골 부분을 검출하고 좌표 매핑을 수행하였다. 최종적으로 반복적인 원근 n점 알고리즘을 통해 침골 자세를 추정하였다.
실험 결과, 평균 회전 오차는 25도 미만, 평행 이동 오차는 x, y축에서 각각 2mm, 3mm, z축에서 0.55% 수준으로 나타났다. 이를 통해 제안한 방법이 추가적인 외부 추적 장비 없이도 단안 현미경 영상을 이용하여 정확한 2D-3D 등록이 가능함을 보였다. 향후 연구에서는 다른 해부학적 구조물을 추가하여 등록 정확도를 높이고자 한다.

Stats

회전 오차 평균: 25도 미만
평행 이동 오차:

x축 2mm 이하
y축 3mm 이하
z축 0.55% 이하

Quotes

없음

Key Insights Distilled From

Monocular Microscope to CT Registration using Pose Estimation of the Incus for Augmented Reality Cochlear Implant Surgery

by Yike Zhang,E... at arxiv.org 03-13-2024

https://arxiv.org/pdf/2403.07219.pdf

Deeper Inquiries

수술 중 다른 해부학적 구조물을 추가로 활용하여 등록 정확도를 높일 수 있는 방법은 무엇일까?

이 연구에서는 수술 중에 다른 해부학적 구조물을 추가로 활용하여 등록 정확도를 높일 수 있는 방법을 탐구하고 있습니다. 현재는 incus를 주요 구조물로 활용하고 있지만, incus 외에도 다른 안면신경, chorda, scala tympani 등과 같은 구조물을 추가로 활용할 수 있습니다. 이러한 다른 구조물을 활용하여 더 많은 지점을 참조함으로써 등록 과정에서의 오차를 줄일 수 있습니다. 또한, 다양한 구조물을 활용함으로써 수술 중에 발생할 수 있는 변화나 이동에 대해 보다 강건한 시스템을 구축할 수 있습니다.

수술 중 다른 해부학적 구조물을 추가로 활용하여 등록 정확도를 높일 수 있는 방법은 무엇일까?

단안 현미경 영상만으로는 자세 추정의 한계가 있을 수 있습니다. 이를 극복하기 위한 다른 센서 데이터 활용 방안으로는 깊이 카메라를 활용하는 것이 있습니다. 깊이 카메라를 통해 3차원 정보를 획득하고, 이를 단안 현미경 영상과 통합하여 보다 정확한 자세 추정을 할 수 있습니다. 또한, 자세 추정을 위해 다양한 센서 데이터를 융합하는 다중 센서 통합 방법을 적용하여 보다 정확한 결과를 얻을 수 있습니다.

증강현실 기반 인공와우 수술 외에도 이 기술이 적용될 수 있는 다른 의료 분야는 무엇이 있을까?

증강현실 기술은 인공와우 수술 외에도 다양한 의료 분야에 적용될 수 있습니다. 예를 들어, 신경외과나 정형외과 수술에서도 증강현실을 활용하여 정확한 해부학적 구조물의 시각화와 안내를 제공할 수 있습니다. 또한, 심혈관계나 영상의학 분야에서도 증강현실을 활용하여 실시간 이미지 표시 및 해부학적 구조물의 시각화를 통해 수술의 정밀도를 향상시킬 수 있습니다. 더불어, 재활이나 치료 과정에서도 증강현실을 활용하여 환자들에게 시각적 지원을 제공하고 치료 효과를 향상시킬 수 있습니다.