Core Concepts
ニューラルグラフィックスプリミティブを活用することで、従来のニューラルラジアンスフィールド(NeRF)に比べて学習時間を大幅に短縮しつつ、3D再構築の質を維持できる。
Abstract
本研究では、ニューラルラジアンスフィールド(NeRF)を衛星画像に適用する際の課題を解決するため、ニューラルグラフィックスプリミティブ(I-NGP)を活用したモデル「SAT-NGP」を提案している。
まず、NeRFを衛星画像に適用する際の課題として以下が挙げられる:
- 照明条件の変化への対応
- 過渡的オブジェクト(車両、植生など)の学習
- 大規模な領域への適用性の低さ
SAT-NGPでは、これらの課題に対して以下のアプローチを取っている:
- 日射角度を入力に加えることで陰影効果をモデル化
- 潜在時間ベクトルに基づいて不確実性マップを学習し、過渡的オブジェクトの影響を抑制
- I-NGPの手法を導入することで、学習時間を大幅に短縮
実験の結果、SAT-NGPは従来のNeRF手法に比べて学習時間を大幅に短縮(20時間→15分)しつつ、3D再構築の質を維持できることが示された。また、過渡的オブジェクトを排除した高品質な新規ビュー合成も可能である。
Stats
衛星画像から3D再構築を行う際、従来のステレオビジョンパイプラインでは40,000×40,000ピクセルの画像に対して1時間未満で処理可能だが、NeRFベースの手法では24時間以上を要していた。
一方、提案手法のSAT-NGPでは15分以内で3D再構築が可能となった。
Quotes
"NeRF [2] represents the 3D scene as a continuous radiance field, encoded in a feed-forward Multi-Layer Perceptron (MLP). Novel views are synthesised by alpha-compositing radiance values (queried from the NeRF) at coordinates and viewing directions along camera rays."
"To address these challenges, we combine previous works on the satellite image model of NeRF [3, 4] with the acceleration brought by Instant Neural Graphics Primitives (I-NGP) [7]. Our method, Satellite Neural Graphics Primitives (SAT-NGP) reduces the time needed to extract a 3D model of a terrestrial scene from satellite images from 24 hours to less than 15 minutes, without compromising the quality of the reconstruction."