Dieser Artikel präsentiert eine präzise physikbasierte Text-zu-3D-Generierungsmethode namens Phy3DGen. Bestehende Text-zu-3D-Generierungsmethoden konzentrieren sich hauptsächlich auf die geometrische oder visuelle Plausibilität der generierten 3D-Formen, ignorieren aber die präzise Physikwahrnehmung. Dies schränkt die Praxistauglichkeit der generierten 3D-Formen in realen Anwendungen stark ein.
Um dieses Problem zu lösen, verwendet Phy3DGen 3D-Diffusionsmodelle, um 3D-Formpriors bereitzustellen, und entwirft eine datengesteuerte differenzierbare Physiklage, um die 3D-Formpriors mit Festkörpermechanik zu optimieren. Dadurch können Geometrie effizient optimiert und präzise Physikinfos über 3D-Formen gleichzeitig gelernt werden.
Die Experimente zeigen, dass unser Verfahren sowohl die geometrische Plausibilität als auch die präzise Physikwahrnehmung berücksichtigen kann, ohne zusätzliche Trainingsdaten oder manuelle Interaktion zu erfordern. Somit können die generierten 3D-Formen sowohl visuelle als auch praktische Anforderungen erfüllen.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Qingshan Xu,... a las arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12438.pdfConsultas más profundas