核心概念
医用画像合成において、解剖学的構造を維持しながら、異なるMRIモダリティ間で画像を変換する技術が提案されており、特に腫瘍を含む異常構造にも対応できる高忠実度な合成を実現しています。
本論文では、構造情報を維持しながら医用画像を合成する新しいフレームワーク「HiFi-Syn」が提案されています。このフレームワークは、特に脳腫瘍のような異常(病理学的)構造を含むMR画像の合成において、従来手法を超える性能を発揮することを目指しています。
背景
医用画像、特にMRIデータの大規模な収集は、コストや患者のプライバシーなどの問題から困難な場合があります。そこで、既存の画像から新たなMRIデータを合成する技術が注目されています。しかし、従来の画像合成手法では、解剖学的構造の維持が十分に考慮されていませんでした。
HiFi-Synの概要
HiFi-Synは、階層的な粒度識別を用いて、医用画像に存在する様々なレベルのセマンティック情報を活用する、敵対的生成ネットワーク(GAN)ベースのフレームワークです。
階層的粒度識別
ピクセルレベルの粒度識別(PGD): Brain Memory Bank(BMB)を用いて、ピクセルレベルでドメインに依存しない特徴表現を学習します。BMBは、類似する特徴量を近づけ、異なる特徴量を遠ざけるように制約を課すことで、より判別しやすいコンパクトなメモリ空間を実現します。
構造レベルの粒度識別(SGD): 各脳構造に対して構造レベルの粒度識別を行い、困難なサンプルに焦点を当てるための再重み付け戦略を採用しています。これにより、脳の異なる解剖学的構造間の特徴的な変動を捉えることができます。
グローバルレベルの粒度識別(GGD): 変換中の解剖学的コンテンツの整合性を確保するために、グローバルレベルの粒度識別を行います。
特徴
正常な脳構造の整合性を維持しながら、病変などの異常構造を忠実に再現できます。
従来のPSNRやSSIMに加えて、ボクセルレベルの分析など、関連するダウンストリームタスクに関する定量的な評価も行っています。
専門家による視覚的な評価により、HiFi-Synが画像変換中も一貫して構造を維持することが実証されています。
実験と結果
HiFi-Synは、BraTS、IXI、UKBの3つの公開データセットを用いて評価されました。その結果、HiFi-Synは、従来の最先端アルゴリズムを上回るロバスト性を示し、正常組織と腫瘍組織の両方を含む様々なモダリティ(T1、T1ce、T2、T2-Flair)とタスクにおいて優れた性能を発揮することが実証されました。
結論
HiFi-Synは、医用画像、特に脳MRI画像の構造保存型合成において、有望な新しいフレームワークです。階層的な粒度識別を用いることで、正常な解剖学的構造を維持しながら、腫瘍などの異常構造を正確に合成することができます。
統計
BraTSデータセット:285名のグリオーマ患者から得られた注釈付きMRIデータセット。
IXIデータセット:80名の健常者から得られたT1およびT2強調MRIデータセット。
UKBデータセット:UK Biobankから得られたMRIデータセット。
3つのデータセット全てにおいて、脳組織を含む100の軸断面画像を選択。
BraTSデータセットでは、腫瘍のラベルとして、コア、造影、腫瘍全体の3種類を使用。
IXIおよびUKBデータセットでは、灰白質、白質、脳脊髄液の3種類の構造ラベルを使用。
評価指標として、PSNR、SSIM、Diceスコア、体積類似性を使用。