Dieser Artikel präsentiert eine präzise physikbasierte Text-zu-3D-Generierungsmethode namens Phy3DGen. Bestehende Text-zu-3D-Generierungsmethoden konzentrieren sich hauptsächlich auf die geometrische oder visuelle Plausibilität der generierten 3D-Formen, ignorieren aber die präzise Physikwahrnehmung. Dies schränkt die Praxistauglichkeit der generierten 3D-Formen in realen Anwendungen stark ein.
Um dieses Problem zu lösen, verwendet Phy3DGen 3D-Diffusionsmodelle, um 3D-Formpriors bereitzustellen, und entwirft eine datengesteuerte differenzierbare Physiklage, um die 3D-Formpriors mit Festkörpermechanik zu optimieren. Dadurch können Geometrie effizient optimiert und präzise Physikinfos über 3D-Formen gleichzeitig gelernt werden.
Die Experimente zeigen, dass unser Verfahren sowohl die geometrische Plausibilität als auch die präzise Physikwahrnehmung berücksichtigen kann, ohne zusätzliche Trainingsdaten oder manuelle Interaktion zu erfordern. Somit können die generierten 3D-Formen sowohl visuelle als auch praktische Anforderungen erfüllen.
เป็นภาษาอื่น
จากเนื้อหาต้นฉบับ
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Qingshan Xu,... ที่ arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12438.pdfสอบถามเพิ่มเติม