本研究では、DPMeshと呼ばれる新しい人体メッシュ回復フレームワークを提案している。DPMeshは、事前学習された拡散モデルの知識を活用することで、オクルージョンに強い人体メッシュ回復を実現する。
具体的には以下の3つの特徴がある:
事前学習された拡散モデルのデノイジングU-Netをバックボーンとして使用し、単一ステップの推論で特徴抽出を行う。これにより、従来手法のように繰り返し推論する必要がなく、効率的な処理が可能となる。
2D関節位置情報を条件として拡散モデルに注入することで、オクルージョンに強い特徴表現を得る。これにより、オクルージョンが存在する場合でも正確な人体メッシュ回復が可能となる。
ノイズの多い2D関節位置情報に頑健になるよう、教師-生徒ネットワークによる自己教師学習を導入する。これにより、オクルージョンや混雑シーンでも安定した推定が可能となる。
実験の結果、DPMeshは様々なオクルージョンデータセットにおいて、従来手法を大きく上回る精度を達成している。特に、3DPW-OC、3DPW-PC、3DPW-Crowdなどのオクルージョンデータセットで顕著な性能向上が確認された。これは、DPMeshが拡散モデルの知識を効果的に活用し、オクルージョンに強い人体メッシュ回復を実現できることを示している。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Yixuan Zhu,A... a las arxiv.org 04-03-2024
https://arxiv.org/pdf/2404.01424.pdfConsultas más profundas