高品質な三角メッシュの生成と質感付けを同時に行うテキストから3Dコンテンツ生成手法「DreamMesh」
DreamMeshは、テキストから高品質な三角メッシュを生成し、質感を付与する新しい手法である。コース段階では、テキストに基づいてメッシュを変形し、2Dディフューション・モデルを用いて質感を付与する。その後のファイン段階では、メッシュと質感を同時に最適化することで、高品質な3Dモデルを生成する。
テキストから3Dコンテンツ生成の現状を包括的に評価するベンチマーク「T3Bench」
T3Benchは、テキストから3Dコンテンツを生成する手法の性能を包括的に評価するためのベンチマークである。多様なテキストプロンプトと2つの自動評価指標を提供し、10種類の代表的な手法の性能を明らかにする。
高品質な3Dシーンを文章から生成する「RealmDreamer」
テキストプロンプトから高品質な3Dシーンを生成する手法を提案する。2Dの修復モデルと深度拡散モデルを活用し、一貫性のある3Dシーンを合成する。
テキストから3Dコンテンツを生成するための柔軟な手法「DreamView」
DreamViewは、テキストから3Dコンテンツを生成する際に、全体的な一貫性と個別のカスタマイズを両立させることができる。
高品質で一貫性のある3Dシーンを効率的に生成するDreamScene
DreamSceneは、Formation Pattern Sampling、戦略的なカメラサンプリング、オブジェクトと環境の統合により、高品質で一貫性のある3Dシーンを効率的に生成する。
テキストから3Dアセットを効率的に生成するためのStein Score Distillationによる分散の低減
Stein Identityに基づいて構築された柔軟な制御変数を用いることで、スコア蒸留の分散を大幅に低減し、テキストから3Dアセットの生成品質と収束速度を向上させることができる。
テキストから3Dコンテンツ生成におけるスコアディストリビューションのモードコラプスの抑制
スコアディストリビューションに基づくテキストから3Dコンテンツ生成手法では、生成された3Dオブジェクトにジャヌス問題と呼ばれる複数の正面が存在する問題が生じる。これは、スコアディストリビューションの最尤推定的な最適化がモードコラプスに陥ることが原因であり、エントロピー正則化を導入することで、ビューの多様性を高め、ジャヌス問題を緩和できる。
高品質なテキストから3Dオブジェクトを生成するDreamPolisher
テキストの説明に基づいて、一貫性のある高品質な3Dオブジェクトを生成する。
