Temel Kavramlar
제안된 LMI 기반 확산 모델은 교차 모달리티 영상 변환을 위한 제로샷 학습 프레임워크로, 모달리티 간 통계적 특징의 유사성을 활용하여 변환을 수행하고 이를 통해 타겟 모달리티 기반 세그멘테이션을 가능하게 한다.
Özet
이 연구는 제로샷 학습 기반의 교차 모달리티 영상 변환 문제를 다룬다. 기존의 GAN 기반 및 확산 모델 기반 방법들은 소스 도메인 데이터에 의존하거나 모달리티 간 통계적 특징 차이를 고려하지 않는 한계가 있다.
제안된 LMI(Locale-based Mutual Information) 기반 확산 모델은 모달리티 간 통계적 특징의 유사성을 활용하여 제로샷 학습 환경에서 영상 변환을 수행한다. 구체적으로:
- 국소적 상호 정보량(LMI)을 활용하여 모달리티 간 통계적 특징의 유사성을 모델링하고, 이를 확산 과정의 안내 정보로 활용한다.
- 이를 통해 소스 도메인 데이터 없이도 타겟 모달리티 영상으로의 변환이 가능하며, 변환된 영상을 활용하여 타겟 모달리티 기반의 세그멘테이션을 수행할 수 있다.
실험 결과, 제안 방법은 기존 GAN 기반 및 확산 모델 기반 방법들에 비해 우수한 변환 성능과 세그멘테이션 결과를 보였다. 이는 모달리티 간 통계적 특징의 유사성을 활용한 제안 방법의 효과를 보여준다.
İstatistikler
제안 방법(LMIDiffusion)은 Dice 점수 0.88 ± 0.05, PSNR 20.22 ± 1.43, SSIM 0.69 ± 0.06의 성능을 보였다.
CycleGAN은 Dice 점수 0.85 ± 0.07, PSNR 18.88 ± 1.26, SSIM 0.27 ± 0.04의 성능을 보였다.
SDEdit은 Dice 점수 0.82 ± 0.06, PSNR 15.96 ± 1.54, SSIM 0.50 ± 0.06의 성능을 보였다.
StyleGAN은 Dice 점수 0.66 ± 0.10, PSNR 10.15 ± 1.49, SSIM 0.06 ± 0.03의 성능을 보였다.
Alıntılar
"제안된 LMI-guided diffusion은 제로샷 교차 모달리티 영상 세그멘테이션을 위한 유망한 접근법이다."
"LMI를 활용한 확산 모델의 성능은 LMI 계산을 개선하는 one-shot 또는 few-shot 학습을 통해 더욱 향상될 수 있다."