Der Artikel stellt eine innovative Methode namens Konzeptweaver vor, die es ermöglicht, hochwertige Bilder zu generieren, die mehrere benutzerdefinierte Konzepte enthalten. Traditionelle Modelle haben oft Schwierigkeiten, komplexe Mehrfachkonzeptbilder in einem einzigen Schritt zu generieren. Konzeptweaver löst dies, indem es einen kaskadierten Generierungsprozess verwendet.
Der Prozess beginnt damit, dass für jedes Zielkonzept ein personalisiertes Text-zu-Bild-Modell erstellt wird. Dann wird ein nicht personalisiertes "Vorlagenbild" ausgewählt, das mit der Semantik der Eingabeaufforderung übereinstimmt. Im nächsten Schritt werden Latenzdarstellungen aus diesem Vorlagenbild extrahiert, um die spätere Bearbeitung zu unterstützen. Anschließend werden die spezifischen Regionen des Vorlagenbilds identifiziert und isoliert, die den Zielsubjekten entsprechen. Der Schlüsselbeitrag besteht darin, diese Latenzdarstellungen, gezielten räumlichen Regionen und personalisierte Modelle zu kombinieren, um das Vorlagenbild zu rekonstruieren und es mit den angegebenen Konzepten anzureichern.
Die empirischen Auswertungen zeigen, dass die vorgeschlagene Methode in der Lage ist, mehrere benutzerdefinierte Konzepte mit höherer Konzeptgenauigkeit zu generieren. Insbesondere kann unser Modell Bilder ohne Konzeptvermischung für semantisch verwandte Konzepte (Katzen und Hunde) erstellen. Darüber hinaus kann unser Modell nahtlos mehr als zwei Konzepte handhaben, während die Basisansätze Schwierigkeiten haben. Schließlich stellen wir fest, dass die von unserem Modell generierten Bilder die semantische Bedeutung der Eingabeaufforderung sehr genau widerspiegeln und hohe CLIP-Werte erreichen.
Till ett annat språk
från källinnehåll
arxiv.org
Djupare frågor