Alapfogalmak
大規模な3Dアーバンシーンを、入力のイメージとテキストリファレンスに基づいて自動的にスタイル化し、調和の取れた全方位の空の背景を生成する。
Kivonat
本研究は、大規模な3Dアーバンシーンのテクスチャスタイル化のための新しいフレームワーク「StyleCity」を提案する。入力のイメージとテキストリファレンスを使って、3Dテクスチャメッシュをセマンティクスに対応したスタイル化し、調和の取れた全方位の空の背景を生成する。
具体的には以下の手法を提案している:
- ニューラルテクスチャフィールドを使ってシーンの外観をモデル化し、2Dビジョンとテキストの事前学習済みプライオリティを3Dにグローバルおよびローカルに転移する。
- 訓練ビューを段階的に拡大するマルチスケールの漸進的最適化手法と、スタイル参照の適応的スケーリングにより、高品質なシーンスタイル化を実現する。
- セマンティクス対応のスタイルロスにより、ローカルなスタイル一貫性を維持する。
- 生成型ディフュージョンモデルを使って、スタイル整合的な全方位の空の背景を合成し、シーンの雰囲気を高める。
実験の結果、提案手法は大規模な3Dアーバンシーンのスタイル化において、高品質な質感と詳細な表現を実現できることが示された。
Statisztikák
大規模な3Dアーバンシーンを効率的にスタイル化できる。
入力のイメージとテキストリファレンスに基づいて、自動的にスタイル化とスカイ背景の生成ができる。
高品質なスタイル化と写実性を両立できる。
Idézetek
"大規模な仮想都市シーンの多様なスタイル化は本質的に困難である。"
"スタイル転移は、目標のスタイルに従って自動的に転移しながら、元の構造を維持することを目指す基本的な問題である。"
"大規模シーンの場合、明示的なテクスチャや潜在特徴の最適化は膨大な計算リソースを必要とし、スケールアップが困難である。"