본 연구는 3D 손 메시 복원 성능을 향상시키기 위해 현실적이고 다양한 손-물체 상호작용 이미지를 생성하는 HandBooster 프레임워크를 제안한다.
첫째, 내용 인식 조건을 활용하여 다양한 손 외형, 자세, 시점, 배경을 가진 현실적인 이미지를 생성한다. 이를 통해 정확한 3D 주석을 무료로 얻을 수 있다.
둘째, 유사성 기반 분포 샘플링 전략을 통해 기존 데이터와 구별되는 새로운 상호작용 자세를 생성한다. 이를 통해 데이터의 다양성과 품질을 크게 향상시킨다.
이렇게 생성된 데이터를 이용하여 여러 최신 3D 손 메시 복원 모델의 성능을 크게 개선할 수 있음을 실험을 통해 입증한다. 특히 DexYCB와 HO3D 벤치마크에서 SOTA 성능을 달성한다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문