Conceitos essenciais
주어진 텍스트와 물체 메시를 이용하여 물체 궤적과 초기 손 자세 없이도 3D 손-물체 상호작용 모션을 생성할 수 있다.
Resumo
이 논문은 텍스트 가이드 3D 손-물체 상호작용 생성에 대한 첫 번째 연구를 소개한다. 기존 데이터셋의 한계로 인해 다양한 유형의 물체와 상호작용을 모델링하기 어려운 문제를 해결하기 위해, 저자들은 손-물체 접촉 생성과 손-물체 모션 생성의 두 가지 하위 작업으로 상호작용 생성 작업을 분해한다.
접촉 생성 모듈은 텍스트와 물체 메시를 입력받아 손과 물체 사이의 접촉 확률 맵을 생성한다. 이는 물체 카테고리에 독립적인 국부 기하 구조 표현을 학습한다. 모션 생성 모듈은 이 접촉 맵을 강력한 사전 정보로 활용하여 텍스트 프롬프트에 따라 물리적으로 타당한 손-물체 모션을 생성한다. 마지막으로, 손 리파이너 모듈은 물체 표면과 손 관절 사이의 거리를 최소화하여 접촉 안정성과 관통 방지를 개선한다.
실험에서 제안 방법은 기존 방법들에 비해 더 현실적이고 다양한 상호작용을 생성할 수 있음을 보여준다. 또한 학습되지 않은 물체에도 적용 가능하다.
Estatísticas
손과 물체 사이의 거리가 2cm 이내인 경우, 손과 물체 사이의 거리 차이를 최소화한다.
손과 물체 사이의 상대 회전을 최소화한다.
Citações
"손으로 사과를 건네주세요."
"오른손으로 상자를 엽니다."