본 연구는 다중 모달리티 뇌 영상 변환을 위한 비지도 학습 기반의 모델인 UTAD-Net을 제안한다. 모델은 교사 네트워크와 학생 네트워크로 구성되어 있다.
교사 네트워크는 전역 브랜치와 지역 브랜치로 구성되어 있다. 전역 브랜치는 전체 영상을 대상 모달리티로 변환하고, 지역 브랜치는 종양 영역을 대상 모달리티로 변환한다. 종양 마스크를 활용하여 종양 영역에 초점을 맞추도록 한다.
학생 네트워크는 교사 네트워크와 동일한 구조를 가지지만, 지역 브랜치에 종양 마스크 대신 전체 영상을 입력한다. 이를 통해 종양 영역을 인지하고 종양 마스크 없이 대상 영상을 생성할 수 있다.
실험 결과, 제안 모델은 정량적/정성적 평가에서 우수한 성능을 보였으며, 생성된 영상을 활용한 종양 분할 작업에서도 우수한 결과를 보였다.
To Another Language
from source content
arxiv.org
Djupare frågor