Die Autoren schlagen ein Modell (SEK) vor, das realistische 3D-Szenen aus handgezeichneten Skizzen und Entitäten unter Verwendung von externem Wissen über Objektbeziehungen generiert.
Zunächst wird eine externe Wissensbasis erstellt, die verschiedene Objektbeziehungen enthält. Dieses Wissen wird dann verwendet, um die Mehrdeutigkeit in der Interpretation der handgezeichneten Skizze zu reduzieren und die Vielfalt der Generierung durch Einbeziehung unsichtbarer Objekte, die nicht in der Skizze gezeichnet sind, zu erhöhen.
Das Modell basiert auf einem Diffusionsmodell, das die 3D-Szene schrittweise aus Rauschen erzeugt. Dabei werden die Skizze und das wissensbasierte Reasoning verwendet, um den Entschärfungsprozess zu konditionieren und so eine plausible Szenenstruktur und Objektgeometrie zu erzeugen.
Die Experimente zeigen, dass das Modell den aktuellen Stand der Technik in Bezug auf Qualität, Vielfalt und Plausibilität der generierten Szenen übertrifft. Außerdem kann es erfolgreich Wissen von einem Datensatz auf einen anderen übertragen.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések