核心概念
画像の自己類似性を活用し、参照パッチと照合パッチを使い分けることで、計算コストを大幅に削減しつつ高精度なスーパーリゾリューション画像を生成する。
要約
本研究では、画像の自己類似性に着目した新しい量子化手法「参照ベース量子化」(RefQSR)を提案している。RefQSRでは、入力画像をパッチに分割し、代表的なパッチ(参照パッチ)を高精度で量子化し、それ以外のパッチ(照合パッチ)を参照パッチを用いて低精度で量子化する。
具体的には、パッチクラスタリングモジュールClustBlockを用いて参照パッチと照合パッチを特定し、参照パッチは高精度(8bit)、照合パッチは低精度(4-3bit)で量子化する。さらに、RefERブロックを導入し、照合パッチの量子化誤差を参照パッチの特徴を用いて補正することで、高精度な画像再構成を実現している。
実験の結果、RefQSRを既存の量子化手法に統合することで、計算コストを大幅に削減しつつ、スーパーリゾリューション性能を維持できることが示された。例えば、SRResNetにRefQSRを適用した場合、76.9%のBitOps削減を達成しつつ、PSNRを同等に保つことができた。
統計
SRResNetにRefQSRを適用した場合、Urban100データセットで以下の結果が得られた:
DDTB (8bit): BitOps 9.27G, PSNR 25.89
DDTB-RefQSR (4-3bit): BitOps 2.14G, PSNR 25.92
CADyQ (δbit): BitOps 6.02G, PSNR 25.89
CADyQ-RefQSR (δ-3bit): BitOps 3.86G, PSNR 25.89