Основные понятия
Eine Methode zur Generierung und Kontrolle von 3D-Szenen unter Verwendung von Teilbildern, Layout-Informationen und Textaufforderungen.
Аннотация
Die vorgeschlagene Methode kombiniert Teilbilder, Layout-Informationen in Draufsicht und Textaufforderungen, um 3D-Szenen zu generieren. Dies kompensiert die Nachteile jeder einzelnen Eingabebedingung in komplementärer Weise.
Der Prozess der 3D-Szenen-Generierung wird in zwei Schritte unterteilt: 2D-Bildgenerierung aus den gegebenen Bedingungen und 3D-Generierung aus 2D-Bildern. Für die 2D-Bildgenerierung wird ein vortrainiertes Text-zu-Bild-Modell mit einem kleinen künstlichen Datensatz von Teilbildern und Layouts feinabgestimmt. Die 3D-Szenen-Generierung erfolgt durch layoutbedingte Tiefenschätzung und neuronale Strahlungsfelder (NeRF), um große Datensätze zu vermeiden.
Die Verwendung einer gemeinsamen Darstellung räumlicher Informationen in Form von 360-Grad-Bildern ermöglicht die Berücksichtigung der Interaktion multimodaler Bedingungen und reduziert die Domänenabhängigkeit der Layout-Kontrolle. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode 3D-Szenen in verschiedenen Domains, von Innen- bis Außenbereich, entsprechend multimodaler Bedingungen generieren kann.
Статистика
Die Verwendung von 360-Grad-Bildern garantiert die Konsistenz der Szene und reduziert den Rechenaufwand.
Die Kombination von Teilbildern, Layout-Informationen und Textaufforderungen ermöglicht eine detailliertere Kontrolle der Erscheinung, Geometrie und des Gesamtkontexts der generierten 3D-Szenen.
Durch das Feinabstimmen eines vortrainierten Text-zu-Bild-Modells mit einem kleinen künstlichen Datensatz und die Generierung von 3D-Szenen aus 2D-Bildern wird die Erstellung großer Datensätze vermieden.
Die Verwendung einer gemeinsamen Darstellung in Form von 360-Grad-Bildern ermöglicht die Berücksichtigung der Interaktion multimodaler Bedingungen und reduziert die Domänenabhängigkeit der Layout-Kontrolle.
Цитаты
"Die Generierung von 3D-Szenen unter benutzerdefinierten Bedingungen bietet einen vielversprechenden Weg, um die Produktionsbelastung in 3D-Anwendungen zu verringern."
"Die Kombination dieser Bedingungen zur Generierung einer 3D-Szene beinhaltet erhebliche Schwierigkeiten: (1) die Erstellung großer Datensätze, (2) die Berücksichtigung der Interaktion multimodaler Bedingungen und (3) die Domänenabhängigkeit der Layout-Bedingungen."