Core Concepts
写真から物体を再構築し、新しい環境で描画することは、標準的な新規ビュー合成タスクを超えており、物体の外観は新しい視点だけでなく新しい照明条件にも適応する必要がある。しかし、逆レンダリング手法の評価は、新規ビュー合成データや単純な合成データセットに依存している。本研究では、物体の再構築と再描画を測定するための実世界データセットを提示する。
Abstract
本研究では、物体の形状と材質の特性を画像から推定し、新しい環境で描画する逆レンダリングタスクを評価するための実世界データセットを提案する。このデータセットには、複数の環境で撮影された同じ物体の画像と、その環境の照明情報が含まれている。これにより、ある環境で撮影された画像から物体を再構築し、未知の照明環境で描画した結果を、基準となる画像と比較することができる。
データセットには8つの物体が含まれ、それぞれ3つの異なる環境で撮影されている。環境には、屋外、室内の自然光、室内の人工光の3種類が含まれる。画像とHDR環境マップは幾何学的および色彩的に校正されており、再描画結果を基準画像と定量的に評価できるようになっている。
さらに、本研究では、既存の手法と提案するシンプルなベースラインを評価し、物体の形状推定の重要性や現実的なシェーディングの使用の必要性などを示す。実験の結果、提案するベースラインが、状態の最先端の手法と比較して良好な性能を示すことがわかった。
Stats
物体の形状を正確に再構築することが難しく、特にコンケーブな形状の物体で問題が生じる。
物体の光沢感を過大に推定する傾向がある。
照明に対する可視性を考慮しないと、影の再現が不十分になる。