Core Concepts
提案手法は、手描きスケッチの視覚的情報を活用して、欠損領域を高品質に修復することができる。
Abstract
本研究では、スケッチ指導型画像修復の問題に取り組んでいる。従来の画像修復手法は、画像の利用可能な領域のみを参照して修復を行うため、修復対象のオブジェクトのカテゴリーや視覚的属性(形状、姿勢など)を精密に制御することができない。一方、手描きスケッチを利用することで、ユーザーが修復対象のオブジェクトの形状や姿勢を指定できるようになる。
提案手法は、まず離散潜在空間表現を学習し、次に部分離散拡散プロセス(PDDP)を用いて、スケッチ情報を活用しながら欠損領域を修復する。具体的には、スケッチ情報を活用した双方向トランスフォーマーモデルを提案し、これを用いて拡散プロセスを逆方向に進めることで、欠損領域を修復する。
実験の結果、提案手法は既存手法と比べて高品質な修復結果を生成できることが示された。特に、スケッチとの整合性が高く、オブジェクトの形状や姿勢が正しく再現されている。
Stats
提案手法は、既存手法と比べて低いFID(7.72)、LPIPS(0.107)、Local LPIPS(0.414)、Local FID(21.91)の値を達成している。
ユーザー評価実験では、68.54%の参加者が提案手法の結果を最も自然だと評価している。
スケッチとの整合性についても、提案手法が最も高い評価(4.34±0.77)を得ている。
Quotes
"提案手法は、手描きスケッチの視覚的情報を活用して、欠損領域を高品質に修復することができる。"
"提案手法は、既存手法と比べて高品質な修復結果を生成できることが示された。特に、スケッチとの整合性が高く、オブジェクトの形状や姿勢が正しく再現されている。"