Ins-HOI ist ein End-to-End-Ansatz zur instanzbasierten Rekonstruktion von menschlichen-Objekt-Interaktionen. Im Gegensatz zu bisherigen Methoden, die auf Vorlagen-basierten Darstellungen basieren, führt Ins-HOI eine instanzbasierte implizite Oberflächendarstellung ein. Dies ermöglicht eine präzise Trennung und detaillierte Modellierung der einzelnen Objektinstanzen innerhalb einer Szene.
Um die Herausforderung des Fehlens von instanzbasierten Bodentruths-Daten zu bewältigen, führen wir eine komplementäre Trainingsstrategie ein. Diese nutzt synthetische Daten, um instanzbasierte Formpriors zu erlernen, und echte Daten, um die Gesamtplausibilität und Vermeidung von Durchdringungen zu gewährleisten.
Ins-HOI kann sowohl menschlich-Stuhl- als auch Hand-Objekt-Interaktionen rekonstruieren und erzeugt dabei realistische unsichtbare Kontaktoberflächen selbst in Fällen extrem enger Interaktion. Im Vergleich zu bisherigen Methoden erreicht Ins-HOI vergleichbare Rekonstruktionsergebnisse für die Gesamtinteraktion und unterstützt zusätzlich die instanzbasierte Rekonstruktion.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Jiajun Zhang... at arxiv.org 03-22-2024
https://arxiv.org/pdf/2312.09641.pdfDeeper Inquiries