Core Concepts
NeRFsを含むニューラルシーン表現のマルチモーダル学習に焦点を当て、熱画像の統合戦略を評価する。
Abstract
Neural Radiance Fields(NeRFs)は新しい視点合成タスクのためのデファクトスタンダードとして急速に進化しています。
熱画像を第二モダリティとして選択し、NeRFsに組み込む戦略を提案。
データセットThermalMixで提案された戦略を評価。
TS、FT、RGB-X、SCの4つの戦略が比較される。
結果は熱画像やRGB画像での再構築能力などが示される。
Introduction
NeRFsは連続放射フィールドを使用したシーン表現であり、視点合成に革新的なアプローチを提供します。
マルチモーダル学習におけるNeRFsへの第二モダリティ(熱画像)統合戦略が重要性を持つ。
Methodology
4つの戦略(TS、FT、RGB-X、SC)が提案され、それぞれNeRFsにおける第二モダリティ統合方法を示す図が提示される。
Results
熱画像再構築ではRGB-Xが最も優れた性能を示し、他の戦略よりも優れた結果が得られる。
RGB再構築ではTSが最も良い性能を発揮し、SCも高品質な再構築能力を持つことが示される。
Stats
NeRFsは新しい視点合成タスクで急速に進化しています。
ThermalMixデータセットは360枚以上のRGBと熱画像から成ります。