Core Concepts
Eine Methode zur Erstellung von Ganzkörper-Selfies aus Nahaufnahmen, die normalerweise nur den oberen Teil des Körpers erfassen. Durch Kombination mehrerer Selfies und eines Hintergrundbilds wird ein realistisches Ganzkörper-Foto in einer gewünschten Pose generiert.
Abstract
Der Artikel präsentiert eine Methode zur Erstellung von Ganzkörper-Selfies aus Nahaufnahmen. Als Eingabe dienen vier Selfies, die verschiedene Körperteile (Gesicht, Oberkörper, Unterkörper, Schuhe) sowie ein Hintergrundbild abdecken. Basierend auf diesen Informationen wird ein vollständiges Foto der Person in einer gewünschten Pose generiert.
Der Prozess umfasst mehrere Schritte:
- Erstellung eines großen synthetischen Datensatzes mit Paaren aus Selfies und zugehörigen Ganzkörper-Fotos. Darauf wird ein selbstüberwachtes diffusionsbasiertes Inpainting-Modell trainiert.
- Vorverarbeitung der Eingabebilder, einschließlich Entzerrung des Gesichts und automatischer Auswahl einer geeigneten Referenzpose.
- Feinabstimmung des trainierten Modells auf die spezifische Eingabe, um Identität und Kleidungsdetails besser zu erhalten.
- Generierung des finalen Ganzkörper-Selfies unter Verwendung des feinabgestimmten Modells und einer posensensitiven Kontrollsteuerung.
Die Ergebnisse zeigen realistische und akkurate Ganzkörper-Selfies für verschiedene Personen, Szenen und Posen.
Stats
Schätzungen zufolge werden täglich 93 Millionen Selfies aufgenommen.
Selfies haben oft eine eingeschränkte Sichtweite und verzerrte Perspektive, die das Aussehen des Gesichts beeinflussen.
Quotes
"Stattdessen, was wäre, wenn Sie das Ganzkörper-Foto aufnehmen könnten, das jemand anderes von Ihnen in der Szene machen würde? Wir nennen dies ein Total-Selfie."
"Unser Ansatz erfordert vier Selfies, um verschiedene Teile Ihres Körpers abzudecken, und ein Foto des Hintergrunds, in den Sie eingefügt werden möchten."