이 논문은 HANDS23 챌린지를 소개하고 상위 제출 방법과 최신 기준선 모델의 결과를 분석한다.
먼저 AssemblyHands 데이터셋을 이용한 이고센트릭 3D 손 자세 추정 과제와 ARCTIC 데이터셋을 이용한 일관된 동작 재구성 과제를 소개한다.
제출된 방법들을 학습 방법, 아키텍처, 전처리 및 후처리 기법, 학습 설정 등의 측면에서 비교 분석한다. 또한 손-물체 가림, 동작 및 물체 별 성능, 왜곡 보정, 다중 뷰 융합, 이고센트릭-allocentric 비교, 대형 트랜스포머 모델의 성능 향상 등 다양한 측면에서 심층 분석을 수행한다.
분석 결과, 이고센트릭 카메라 왜곡 보정, 복잡한 손-물체 상호작용을 학습하는 고용량 트랜스포머, 다중 뷰 예측 융합 등이 성능 향상에 효과적임을 확인했다. 또한 빠른 손 동작, 좁은 이고센트릭 뷰에서의 물체 재구성, 두 손과 물체의 밀접한 접촉 등 여전히 해결해야 할 과제도 발견했다.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Zicong Fan,T... às arxiv.org 03-26-2024
https://arxiv.org/pdf/2403.16428.pdfPerguntas Mais Profundas