高解像度大規模シーンの高品質クロススケールニューラルレンダリング

Core Concepts

ハッシュ特徴化マニフォールド表現を提案し、大規模実世界シーンの高品質クロススケールニューラルレンダリングを実現する。

Abstract

本論文では、大規模実世界シーンの高品質クロススケールニューラルレンダリングのための新しい表現手法「ハッシュ特徴化マニフォールド」を提案する。
まず、大規模シーンのクロススケールニューラルレンダリングの課題を2つ指摘する。

既存の手法は遠景の大域的構造は捉えられるが、近景の微細な詳細を同時に表現することが困難である。
既存の表現手法は、UV展開に基づく特徴化や3D離散化に基づく特徴化では、局所的な詳細を十分に表現できない。一方、体積ベースの暗黙的表現は大規模シーンでのスケーラビリティに課題がある。

そこで本手法では、マルチスケールハッシュ符号化を用いた表面マニフォールドの特徴化を提案する。これにより、離散化解像度に依存せずに高解像度の局所的詳細を表現でき、かつ、マルチビュー一貫性の高い特徴を獲得できる。
さらに、ラスタライゼーションを用いた遅延ニューラルレンダリングフレームワークを提案し、スケーラブルで効率的な推論を実現する。また、表面マルチサンプリングとマニフォールド変形の2つの手法を導入し、クロススケールの詳細をより良く表現できるようにする。
提案手法は、新規大規模シーンデータセット「GigaNVS」を用いた評価で、従来手法に比べて40%のLPIPSの改善を達成し、大規模シーンの高品質クロススケールニューラルレンダリングの新たな境界を切り開いた。

Stats

提案手法は、従来手法に比べて平均LPIPSを約40%改善した。
提案手法は、Tanks&Temples データセットでも従来手法を上回る性能を示した。

Quotes

なし

Key Insights Distilled From

XScale-NVS

by Guangyu Wang... at arxiv.org 03-29-2024

https://arxiv.org/pdf/2403.19517.pdf

Deeper Inquiries

大規模シーンのクロススケールニューラルレンダリングにおいて、幾何学的な不完全性をどのように扱うことができるか。

提案手法では、幾何学的な不完全性や欠損を扱うために、潜在空間変形メカニズムを導入しています。具体的には、表面を別のハッシュエンコーディングを使用してフィーチャライズし、小さなMLPを使用して初期表面を高次元のフィーチャ空間で変形させることで、表面の不完全性に対処しています。この手法により、初期表面のジオメトリ的な問題に対してより強力なマルチビュー一貫性が実現され、クロススケールの詳細を柔軟に捉えることが可能となっています。