Temel Kavramlar
NeRFの固有の新規ビューの合成能力を活用することで、幾何学的整合性の高い新規ビューを生成することができる。
Özet
本研究では、NeRFの固有の新規ビューの合成能力を活用することで、新規ビューの合成の性能を向上させる手法「Re-Nerfing」を提案している。
まず、利用可能な画像群でNeRFモデルを訓練する。次に、このモデルを使って新規ビューを合成し、元の画像群に追加する。ただし、合成ビューの不確実性を推定し、不確実な領域をマスクすることで、高品質な訓練信号を得る。
この2段階の訓練を経ることで、幾何学的整合性の高い新規ビューが生成できるようになる。実験では、様々なNeRF系手法に本手法を適用し、スパース設定やデンス設定の両方で大幅な性能向上を示している。特に、スパース設定では、ベースラインに比べて1dB以上のPSNR向上が確認できる。
本手法は、NeRFの固有の能力を活用することで、追加データや外部モデルを必要とせずに新規ビューの合成性能を向上させることができる点が特徴的である。
İstatistikler
新規ビューの合成では、限られた入力画像では幾何学的整合性の確保が困難であり、アーティファクトが発生しやすい。
本手法を適用することで、PyNeRFでは23.16 dBから24.08 dBへ、Instant-NGPでは20.75 dBから21.70 dBへとPSNRが向上した。
3D Gaussian Splattingでは19.31 dBから22.76 dBへと大幅な改善が見られた。
Alıntılar
"NeRFの固有の新規ビューの合成能力を活用することで、幾何学的整合性の高い新規ビューを生成することができる。"
"本手法は、NeRFの固有の能力を活用することで、追加データや外部モデルを必要とせずに新規ビューの合成性能を向上させることができる。"