단안 현미경에서 CT 스캔 등록을 위한 추골 자세 추정을 통한 증강현실 인공와우 수술

מושגי ליבה

단안 현미경 영상과 CT 스캔을 직접 등록하는 방법을 제안하여 외부 추적 장비 없이도 증강현실 기반 수술을 가능하게 함.

תקציר

이 연구는 단안 현미경 영상과 CT 스캔을 직접 등록하는 방법을 제안한다. 기존 증강현실 기반 수술은 광학 추적 시스템에 의존하였지만, 이 방법은 추골의 일부를 이용한 자세 추정을 통해 등록을 수행한다.
데이터 준비 과정에서 12개의 수술 영상과 CT 스캔을 사용하여 추골 부위의 3D 좌표계를 생성하였다. 이를 바탕으로 YOLOv8 기반의 신경망 모델을 학습시켜 수술 영상에서 추골 부위를 검출하고 좌표 매핑을 수행하였다.
실험 결과, 회전 오차는 25도 미만, 평행 이동 오차는 x, y축에서 2mm, 3mm 미만, z축에서 0.55% 미만으로 나타났다. 이 방법은 단안 현미경만으로도 수술 중 3D 정보를 증강현실에 활용할 수 있어 기존 방식에 비해 비용 효율적이고 정확성이 높을 것으로 기대된다.

סטטיסטיקה

회전 오차: 25도 미만
평행 이동 오차:

x축: 2mm 미만
y축: 3mm 미만
z축: 0.55% 미만

ציטוטים

"단안 현미경 영상에 의존하는 경우 깊이 정보 부족으로 인해 정확도가 떨어지는 것으로 알려져 있다."
"제안하는 방법은 심하게 가려진 상황에서도 물체의 자세를 추정할 수 있도록 설계되었다."

תובנות מפתח מזוקקות מ:

Monocular Microscope to CT Registration using Pose Estimation of the Incus for Augmented Reality Cochlear Implant Surgery

by Yike Zhang,E... ב- arxiv.org 03-13-2024

https://arxiv.org/pdf/2403.07219.pdf

שאלות מעמיקות

다른 수술 절차에서도 이 방법을 적용할 수 있을까?

이 방법은 다른 수술 절차에도 적용될 수 있습니다. 예를 들어, 이 방법은 다른 해부학적 구조물에 대한 2D-3D 등록을 수행하고 실시간으로 수술 중에 시각화할 수 있습니다. 다른 수술에서도 비슷한 방식으로 특정 구조물을 식별하고 해당 구조물의 자세를 추정하여 수술 중에 안내 및 시각화하는 데 활용할 수 있습니다. 이러한 방법은 다양한 수술 분야에서 확장 가능하며, 수술 중에 중요한 해부학적 정보를 실시간으로 제공함으로써 수술의 정확성과 안전성을 향상시킬 수 있습니다.

단안 현미경 외에 다른 센서를 활용하면 더 나은 성능을 얻을 수 있을까?

단안 현미경 외에 다른 센서를 활용한다면 더 나은 성능을 얻을 수 있습니다. 예를 들어, 스테레오 카메라를 사용하면 깊이 정보를 얻을 수 있어 3D 위치 추정의 정확성을 향상시킬 수 있습니다. 또한, 깊이 카메라를 사용하면 더 많은 정보를 활용하여 보다 정확한 위치 추정이 가능해질 수 있습니다. 또한, LIDAR와 같은 기술을 활용하여 환경의 3D 정보를 획득하고 이를 활용하여 보다 정확한 위치 추정 및 환경 모델링을 수행할 수도 있습니다. 따라서, 다양한 센서를 결합하여 사용하면 단안 현미경만 사용할 때보다 더 나은 성능을 기대할 수 있습니다.

이 기술이 발전하면 수술 계획과 실제 수술 간의 차이를 어떻게 줄일 수 있을까?

이 기술이 발전하면 수술 계획과 실제 수술 간의 차이를 줄일 수 있습니다. 예를 들어, 이 기술을 통해 사전 CT 스캔에서 얻은 해부학적 정보와 실제 수술 중에 관찰되는 구조물을 실시간으로 등록하고 시각화할 수 있습니다. 이를 통해 수술 중에 외과의사가 계획한 위치 및 경로를 정확하게 따를 수 있으며, 중요한 구조물의 위치와 상호 관계를 시각적으로 확인할 수 있습니다. 또한, 이 기술을 통해 실시간으로 수술 중에 발생하는 변화를 감지하고 이에 따라 수술 계획을 조정할 수 있습니다. 따라서, 이 기술의 발전은 수술 계획과 실제 수술 간의 일관성을 유지하고 수술 결과를 향상시킬 수 있는 중요한 도구가 될 수 있습니다.