本研究では、スケッチ指導型画像修復の問題に取り組んでいる。従来の画像修復手法は、画像の利用可能な領域のみを参照して修復を行うため、修復対象のオブジェクトのカテゴリーや視覚的属性(形状、姿勢など)を精密に制御することができない。一方、手描きスケッチを利用することで、ユーザーが修復対象のオブジェクトの形状や姿勢を指定できるようになる。
提案手法は、まず離散潜在空間表現を学習し、次に部分離散拡散プロセス(PDDP)を用いて、スケッチ情報を活用しながら欠損領域を修復する。具体的には、スケッチ情報を活用した双方向トランスフォーマーモデルを提案し、これを用いて拡散プロセスを逆方向に進めることで、欠損領域を修復する。
実験の結果、提案手法は既存手法と比べて高品質な修復結果を生成できることが示された。特に、スケッチとの整合性が高く、オブジェクトの形状や姿勢が正しく再現されている。
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Nakul Sharma... : arxiv.org 04-19-2024
https://arxiv.org/pdf/2404.11949.pdfDaha Derin Sorular