Core Concepts
動的顔のキャプチャを高品質かつ効率的にレンダリングするための新しい表現方法を提案する。ラジアンスマニフォールドを利用して静的な幾何学と動的な外観を学習し、単一のレイヤー化されたメッシュとビデオテクスチャとして出力することで、従来のグラフィックスパイプラインで効率的に描画できる。
Abstract
本論文は、動的な顔のキャプチャを高品質かつ効率的にレンダリングするための新しい表現方法を提案している。
まず、ラジアンスマニフォールドを使って顔の静的な幾何学と動的な外観を学習する。静的な幾何学は、固定された𝑁個のマニフォールドで表現される。動的な外観は、これらのマニフォールドの上のUV空間上の時間依存のテクスチャで表現される。
次に、学習したモデルから単一のレイヤー化されたメッシュと動的なUVテクスチャを出力する。メッシュの解像度とテクスチャの解像度を調整することで、レンダリングの品質とメモリ/計算効率のトレードオフを柔軟に制御できる。
最終的に、この表現はレガシーのグラフィックスソフトウェアでも効率的に描画できる。実験では、状態の最先端のニューラルレンダリング手法と比較して、同等の品質を維持しつつ、大幅な計算/メモリ効率の向上を実現している。
Stats
動的顔シーケンスを𝑁個のラジアンスマニフォールドのセットでモデル化している。
静的な幾何学と動的な外観を別々に学習し、単一のレイヤー化されたメッシュとUVテクスチャビデオとして出力している。
メッシュの解像度とテクスチャの解像度を調整することで、品質とメモリ/計算効率のトレードオフを制御できる。
Quotes
"我々の手法は、状態の最先端のニューラルレンダリング手法と比較して、同等の品質を維持しつつ、大幅な計算/メモリ効率の向上を実現している。"