核心概念
提案手法SuRGeは、低解像度入力画像から高品質な超解像度画像を生成するために、発散尺度を活用したGANベースのアプローチを採用している。
摘要
本論文では、SuRGeと呼ばれる新しいGANベースの画像スーパーレゾリューション手法を提案している。
まず、SuRGeのジェネレータGは、低解像度(LR)入力画像から高解像度(HR)画像を生成する。Gは、異なる深さのネットワーク層から得られる特徴を適応的に組み合わせることで、高品質な超解像度(SR)画像を生成する。
次に、SuRGeは、ジェネレータGの学習において、Jensen-Shannon(JS)発散とGromov-Wasserstein(GW)発散を損失関数として活用する。JSは、SR画像とHR画像の分布の類似性を直接的に最小化し、GWは、LR画像とSR画像の分布の構造的な類似性を最小化する。これにより、SuRGeは、より高品質なSR画像を生成することができる。
さらに、SuRGeのディスクリミネータDは、勾配ペナルティ付きのWasserstein損失を用いて学習される。これにより、モードの崩壊を防ぐことができる。
実験の結果、SuRGeは、4倍スーパーレゾリューションにおいて、18の最先端手法と比較して、PSNR平均3.51%、SSIM平均5.45%の性能向上を達成している。また、より複雑なデータセットでは、PSNR平均15.19%の大幅な改善を示している。
統計資料
低解像度(LR)入力画像xは、M1空間に属する。
高解像度(HR)画像yは、M2空間に属する。ここで、M1 ⊂ Rwhc、M2 ⊂ Rw'h'c、r ∈ Z+は拡大率を表す。
ジェネレータGは、M1からM2への写像Gθ: M1 → M2を学習する。
低解像度(LR)、高解像度(HR)、超解像度(SR)の分布をそれぞれpx、py、pG(x)と表す。
引述
"SuRGeは、LRとSRの分布の構造的な類似性を最小化するためにGromov-Wasserstein(GW)発散を活用する初めての手法である。"
"SuRGeは、SR画像とHR画像の分布の類似性を直接的に最小化するためにJensen-Shannon(JS)発散を損失関数として用いる。"
"SuRGeのディスクリミネータDは、勾配ペナルティ付きのWasserstein損失を用いて学習される。これにより、モードの崩壊を防ぐことができる。"