本研究では、ゼロショット学習に基づくクロスモダリティ画像変換手法を提案している。従来のGANベースやディフュージョンベースの手法では、ソースドメインのデータが必要であったり、モダリティ間の統計的特徴の違いを適切に捉えられないという課題があった。
提案手法では、ソースとターゲットモダリティ間の局所的な統計的特徴の一貫性を利用することで、ゼロショット学習の枠組みでクロスモダリティ画像変換を実現する。具体的には、局所相互情報量(LMI)を用いてディフュージョンモデルの更新過程を制御することで、ソースモダリティの画像をターゲットモダリティに変換する。
実験では、PDw MRIからT1w MRIへの変換タスクを通して提案手法の有効性を示している。提案手法は、GANベースやディフュージョンベースの手法と比較して、変換画質や、変換画像を用いたセグメンテーション精度において優れた性能を示している。これは、LMIを用いた統計的特徴の一貫性に基づく変換ガイダンスが、ゼロショット学習の枠組みでも効果的に機能することを示唆している。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Zihao Wang,Y... at arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.01102.pdfDeeper Inquiries