이 연구는 실시간 수술 도구 분할을 위한 새로운 프레임워크를 제안한다. 이 프레임워크는 포인트 추적 기술과 경량화된 Segment Anything 모델을 결합하여 구현되었다.
먼저, 초기 프레임에서 관심 영역을 지정하고 해당 영역 내에서 포인트를 샘플링한다. 이후 포인트 추적기를 사용하여 이 포인트들을 비디오 전체에 걸쳐 추적한다. 추적된 포인트들은 경량화된 Segment Anything 모델에 프롬프트로 제공되어 실시간 도구 분할을 수행한다.
저자들은 Segment Anything 모델의 성능 향상을 위해 수술 데이터셋을 활용한 fine-tuning 기법을 제안한다. 이를 통해 기존 Segment Anything 모델의 약점을 보완하고 수술 환경에 더 잘 적응할 수 있게 한다.
실험 결과, 제안한 프레임워크는 EndoVis 2015 및 UCL dVRK 데이터셋에서 기존 최신 기법을 능가하는 성능을 보였다. 또한 실시간 처리가 가능한 수준의 효율성을 달성하여 임상 적용이 가능할 것으로 기대된다.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Zijian Wu,Ad... : arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.08003.pdfDaha Derin Sorular