Core Concepts
複雑な自然シーンにおける現実的なオブジェクトインスタンスの生成を改善するために、意味的識別器とオブジェクトレベルの識別器を提案する。
Abstract
本研究では、構造ガイド付きイメージ補完を目的とし、意味的識別器とオブジェクトレベルの識別器を提案している。
- 意味的識別器は、事前学習された視覚特徴を活用して生成された視覚概念の現実性を向上させる。
- オブジェクトレベルの識別器は、整列したインスタンスを入力として受け取り、個々のオブジェクトの現実性を強化する。
- 提案手法は、セグメンテーションガイド補完、エッジガイド操作、パノプティックガイド操作などの様々なタスクで最先端の結果を達成する。
- 提案モデルは、オブジェクトの挿入、置換、削除、標準的な補完など、多様な編集ユースケースをサポートする柔軟性を持つ。
- 新しい自動イメージ補完パイプラインと組み合わせることで、標準的な補完タスクでも最先端の結果を達成する。
Stats
複雑な自然シーンにおける現実的なオブジェクトインスタンスの生成は重要な課題である。
既存の手法では、オブジェクトの歪みや意味的レイアウトの劣化などの構造的な問題がある。
提案手法は、意味的識別器とオブジェクトレベルの識別器を導入することで、これらの問題を改善する。
Quotes
"構造ガイド付きイメージ補完は、ユーザからの入力ガイドマップに従って、画像の局所領域を補完することを目的とする。"
"このようなタスクは、対話型編集のための多くの実用的なアプリケーションを可能にするが、複雑な自然シーンにおける現実的なオブジェクトインスタンスの幻想化に苦戦することが多い。"
"このような制限は、穴領域内の意味レベルの制約の欠如と、現実的なオブジェクト生成を強制するメカニズムの欠如が一因である。"