이 연구는 3D 인간-객체 상호작용(HOI) 생성을 위한 새로운 접근법인 HOI-Diff를 제안한다. HOI-Diff는 복잡한 과제를 더 단순한 하위 과제로 분해하는 모듈식 설계를 취한다.
먼저 HOI-DM이라는 이중 분기 확산 모델을 개발하여 텍스트 프롬프트에 따라 인간과 객체의 움직임을 생성한다. 인간과 객체 움직임 생성 모델 간 상호 주의 집중 통신 모듈을 도입하여 일관된 움직임을 생성한다.
또한 APDM이라는 확산 모델을 개발하여 텍스트 프롬프트에 따른 인간-객체 접촉 영역을 예측한다. APDM은 HOI-DM의 결과와 독립적이므로 HOI-DM의 오류를 보정할 수 있다. 또한 접촉 영역을 확률적으로 생성하여 움직임의 다양성을 높인다.
마지막으로 예측된 접촉 정보를 활용하여 분류기 유도를 통해 인간과 객체 간 정확하고 밀접한 접촉을 달성한다.
실험 결과 HOI-Diff는 다양한 상호작용과 다양한 유형의 객체에 대해 실제적인 HOI를 생성할 수 있음을 보여준다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Xiaogang Pen... om arxiv.org 03-18-2024
https://arxiv.org/pdf/2312.06553.pdfDiepere vragen