本研究では、LightControlNetと呼ばれる新しいテキストから画像への変換モデルを提案している。LightControlNetは、ControlNetアーキテクチャに基づいており、所望の照明をモデルの条件画像として指定できる。
提案のテキストからテクスチャへのパイプラインは2段階で構成される。
第1段階では、LightControlNetを使用して、メッシュの視覚的に整合性のある参照ビューを少数生成する。
第2段階では、第1段階の参照ビューをガイドとして使用し、Score Distillation Sampling (SDS)を拡張することで、テクスチャの品質を向上させつつ、照明と表面材質/反射率を分離する最適化を行う。
提案手法は、既存手法と比較して大幅に高速であり(10倍以上)、高品質で再照明可能なテクスチャを生成できる。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問