본 논문은 단일 RGB 이미지에서 3D 손 메시를 강인하게 복원하는 HandGCAT 방법을 제안한다. 기존 방법들은 손 가림 문제를 해결하기 위해 데이터 증강 기법이나 주의 메커니즘을 사용했지만, 여전히 가려진 영역을 정확하게 복원하는 데 어려움이 있었다.
HandGCAT은 2D 손 자세 정보를 활용하여 가려진 영역의 특징을 보상한다. 구체적으로 Knowledge-Guided Graph Convolution (KGC) 모듈과 Cross-Attention Transformer (CAT) 모듈을 제안한다. KGC는 그래프 합성곱 네트워크를 이용하여 2D 손 자세 정보에서 손 선행 지식을 학습한다. CAT는 이 선행 지식을 가려진 영역의 특징과 융합하여 가려진 영역을 효과적으로 복원한다.
실험 결과, HandGCAT은 심각한 손 가림이 존재하는 HO3D v2, HO3D v3, DexYCB 데이터셋에서 기존 최신 방법들을 뛰어넘는 성능을 보였다. 이는 HandGCAT이 손 가림 문제에 강인한 3D 손 메시 복원 방법임을 입증한다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Shuaibing Wa... alle arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.07912.pdfDomande più approfondite