核心概念
Proposing a network combining model-based and model-free approaches for accurate 3D hand reconstruction in challenging scenarios.
摘要
最近、3D手の再構築は人間とコンピュータの協力においてますます注目されており、特に手物体相互作用シナリオにおいては依然として巨大な課題が残っています。現在のアプローチは、高精度で物理的に妥当な3D手メッシュを回復することに焦点を当てています。これらのアプローチは一般的にモデルベースとモデルフリーのアプローチに分類されます。モデルベースのアプローチでは、強力な事前知識を持つパラメトリックモデルを使用し、形状とポーズのパラメータを回帰します。一方、モデルフリーのアプローチでは、直接3D手メッシュ頂点と関節座標に回帰し、事前定義されたパラメータ化されたモデルを使用しません。提案された方法は、初期段階でMANOを使用して物理的に妥当な手メッシュとポーズを再構築し、その後改良段階でMANOによってガイドされたモデルフリー手法を使用して再構築の精度をさらに向上させることを目指しています。
統計資料
MANO pose parameters regression module achieves better performance than common methods using CNN.
Vertex-joint mutual graph-attention model effectively refines hand mesh vertices and joints.
Competitive performance achieved on benchmark datasets HO3DV2 and Dex-YCB.
引述
"Recently, 3D hand reconstruction has gained more attention in human-computer cooperation, especially for hand-object interaction scenario."
"To overcome these issues, we propose a 3D hand reconstruction network combining the benefits of model-based and model-free approaches to balance accuracy and physical plausibility for hand-object interaction scenario."
"Our method achieves competitive performance on recently benchmark datasets HO3DV2 and Dex-YCB, outperforming all only model-base approaches and model-free approaches."