本論文は、NeRFの編集を実現する汎用的なフレームワークGenN2Nを提案する。従来のNeRF編集手法は個別のタスクに特化したものが多かったが、GenN2Nでは2Dイメージ編集ツールを活用することで、テキスト指定編集、カラー化、スーパーレゾリューション、インペインティングなどの様々なNeRF編集タスクを単一のフレームワークで実現できる。
具体的には、まず入力NeRFから複数の2D画像を生成し、それらに2Dイメージ編集ツールを適用して編集画像を得る。しかし、2D編集では3D一貫性が保証されないため、GenN2Nでは3D生成モデルを学習し、2D編集結果から3D編集NeRFの分布を表現する。
この際、2D画像の視点情報と3D編集情報を分離するため、対比学習を導入する。最終的に、学習した生成モデルから3D編集NeRFをサンプリングすることで、高品質かつ多様な3D編集結果を得ることができる。
実験では、様々なNeRF編集タスクにおいて、従来手法を上回る性能を示している。特に、テキスト指定編集、カラー化、スーパーレゾリューション、インペインティングなどで優れた結果を得ている。
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Xiangyue Liu... kl. arxiv.org 04-04-2024
https://arxiv.org/pdf/2404.02788.pdfDybere Forespørgsler